Настоящая мощь Apple Intelligence проявится в сторонних приложениях

Apple Intelligence, новый набор ИИ-функций от производителя iPhone, появившийся в iOS 18, закладывает основу для нового способа использования приложений.

Сегодня устаревшая модель App Store находится под постоянным натиском регуляторов. Между тем, пользователи могут решать множество задач, задавая довольно простые вопросы ИИ-помощнику, например ChatGPT. Сторонники ИИ считают, что он может стать предпочтительным способом поиска ответов, продуктивной работы и творческих экспериментов.

Как же тогда быть с миром приложений и растущим доходом от услуг (более 6 миллиардов долларов в прошлом квартале), который они приносят Apple?

Ответ на этот вопрос лежит в основе стратегии Apple в области ИИ.

Сам Apple Intelligence “из коробки” предлагает лишь небольшой набор возможностей, таких как помощь в написании текстов, суммаризации, генерации изображений и других базовых функций.

Но в начале лета на июньской WWDC Apple представила новые варианты взаимодействия с Siri и Apple Intelligence для разработчиков.

Усовершенствования умного помощника позволят Siri вызывать любой пункт из меню приложения без дополнительной работы со стороны разработчика. Это значит, что пользователи смогут попросить Siri, например, «показать мне заметки докладчика» в слайд-колоде, и Siri будет знать, что делать. Siri также сможет получить доступ к любому тексту, отображаемому на странице, что позволит пользователям ссылаться и действовать в соответствии с тем, что находится на экране.

Так, если вы просматриваете напоминание, чтобы поздравить члена семьи с днем рождения, вы можете сказать что-то вроде «FaceTime him», и Siri будет знать, что делать.

Это уже значительное улучшение по сравнению с базовой функциональностью, которую предлагает сегодняшняя Siri, но на этом дело не заканчивается. Apple также предоставляет разработчикам инструменты для использования Apple Intelligence в своих приложениях. На WWDC компания сообщила, что сначала Apple Intelligence будет доступна для некоторых категорий приложений, включая читалки электронных книг, браузеры, камеры, программы для чтения документов или управление файлами, дневников, почты, фотографий, презентаций, электронных таблиц, вайтбордов и текстовых редакторов. Со временем Apple, вероятно, откроет эти возможности для всех разработчиков App Store.

Функциональность искусственного интеллекта будет построена на основе фреймворка App Intents, который сейчас расширяется  для разработчиков за счет новых намерений. Конечная цель — позволить пользователям взаимодействовать с Siri не только для открытия приложений, но и для их использования.

Это значит, что пользователю не придется копаться в меню приложения, чтобы найти нужную функцию для выполнения задачи. Он может просто спросить Siri.

Кроме того, пользователи смогут делать эти запросы во время естественной разговорной речи и ссылаться на то, что связано с их личным контекстом.

Например, вы можете попросить приложение для редактирования фотографий, такое как Darkroom, «применить кинематографический фильтр к фотографии, которую я сделал вчера с Йеном». Сегодняшняя версия Siri отмахнулась бы от такого запроса, но Siri с искусственным интеллектом будет знать, что нужно использовать намерение приложения «Применить фильтр», а также то, к какой фотографии вы просите его применить.

По словам Apple, Siri сможет предпринять действия, даже если вы запнулись в словах или сослались на предыдущую часть разговора в своих инструкциях.

Вы также сможете выполнять действия в разных приложениях. Например, после редактирования фотографии вы можете попросить Siri переместить ее в другое приложение, например в «Заметки», не нажимая на кнопку.

Кроме того, функция поиска Spotlight в iPhone сможет искать данные в приложениях, включив в свой индекс сущности приложений. Это относится к пониманию Apple Intelligence таких вещей, как фотографии, сообщения, файлы, события календаря и многое другое.

Разумеется, этот более тонкий вариант использования ИИ требует принятия разработчиками. За прошедшие годы Apple оттолкнула от себя некоторых крупных разработчиков и даже некоторых инди-разработчиков своими правилами разделения доходов, которые обычно позволяют компании оставлять себе 30% выручки за продукты и услуги, проданные через любое приложение. Но разработчики могут быть привлечены обратно, поскольку Siri берет приложения, которые раньше были скрыты в библиотеке приложений глубоко в телефоне, и делает их легкодоступными с помощью голосовых команд.

Вместо скучных экранов для обучения пользователей навигации и использованию приложения разработчики могут сосредоточиться на том, чтобы Siri понимала, как работает их приложение и как пользователи могут попросить сделать то, что они хотят в нем. Таким образом, пользователи смогут взаимодействовать с приложением через Siri, говоря или набирая команды, подобно тому, как они сегодня взаимодействуют с чатботом с искусственным интеллектом, например ChatGPT.

Сторонние разработчики получат и другие преимущества от новой архитектуры ИИ Apple.

Благодаря партнерству с OpenAI, Siri сможет передавать запросы в ChatGPT, если у нее нет ответа. Благодаря функции визуального поиска в iPhone 16 Apple также позволит пользователям обращаться к чатботу OpenAI или Google Search, просто нажав на новую кнопку управления камерой сбоку, превращая увиденное через видоискатель камеры в запрос, на который можно ответить.

Эти разработки не будут ощущаться так же революционно, как введение чего-то вроде ChatGPT, потому что скорость внедрения разработчиками, скорее всего, будет разной.

Более того, кажется, что эти будущие обещания еще очень далеки. В последних бета-версиях iOS 18 функциональность кажется неполной. Как часто вы удивляетесь тому, что может делать новая Siri, так же часто вы озадачен тем, чего она не может. Это касается и собственных приложений Apple. Например, вы можете попросить Siri в приложении «Фото» отправить кому-то просматриваемую фотографию, но не можете попросить ее сделать что-то более сложное, например, превратить фотографию в стикер. Пока Siri не перестанет сталкиваться с подобными препятствиями, ее функциональность может в конечном итоге вызывать разочарование.

Источник