Apple предлагает разработчикам свой генеративный ИИ Apple Intelligence

Apple Intelligence, новое предложение Apple в области генеративного искусственного интеллекта, будет доступно не только потребителям — разработчики тоже смогут воспользоваться преимуществами новейшей технологии. В понедельник, выступая на WWDC 2024, компания Apple объявила, что разработчики смогут интегрировать опыт Apple Intelligence в свои приложения.

SDK были обновлены множеством новых API и фреймворков, которые позволят создателям приложений делать такие вещи, как интеграция Image Playground (создание изображений с помощью ИИ), с помощью всего нескольких строк кода. Apple продемонстрировала, как приложение вроде Craft может использовать это, чтобы сделать документы пользователей более наглядными, позволяя им добавлять изображения, созданные искусственным интеллектом.

Инструменты для написания текстов на основе искусственного интеллекта также будут автоматически доступны в любом приложении, использующем стандартный вид редактируемого текста. Для этого Apple продемонстрировала, как такое приложение, как Bear Notes, автоматически позволит пользователям переписывать, вычитывать и обобщать свои заметки.

Кроме того, Apple расширяет возможности разработчиков по выполнению действий в приложениях с помощью Siri.

По словам Apple, разработчики, которые уже используют SiriKit — SDK для интеграции Siri в свои приложения, — сразу же получат множество новых возможностей Siri без каких-либо дополнительных усилий с их стороны. Это касается таких областей, как списки, заметки, медиа, обмен сообщениями, платежи, бронирование столиков в ресторанах, VoIP-звонки и тренировки.

В своей презентации для разработчиков Apple заявила, что есть две новые возможности Siri, которыми разработчики смогут воспользоваться без дополнительной работы. Во-первых, Siri сможет вызывать любой пункт из меню приложения. Это значит, что пользователь может сказать что-то вроде «покажите мои заметки для докладчика», когда находится в своей слайд-колоде, или даже что-то более сложное, например «мне нужно посмотреть заметки для докладчика».

Во-вторых, Siri сможет получить доступ к любому тексту, отображаемому на странице, используя стандартные текстовые системы Apple. Это позволит пользователям ссылаться на текст на экране и действовать в соответствии с ним. Например, если у вас есть напоминание или заметка «поздравить дедушку с днем рождения», вы можете просто сказать «FaceTime him», чтобы выполнить действие по этой заметке.

Тем временем фреймворк Apple App Intents, позволяющий осуществлять легкое взаимодействие с приложениями без их установки, также получит доступ к Apple Intelligence.

Apple определяет новые намерения и делает их доступными для разработчиков по всем категориям, начиная с подмножества категорий, включая книги, браузеры, камеры, устройства для чтения документов, управление файлами, дневники, почту, фотографии, презентации, электронные таблицы, вайтборды и текстовые процессоры.

По словам Apple, эти намерения определены и протестированы, поэтому разработчикам будет проще их внедрить.

С помощью этих намерений приложение для редактирования фотографий, например Darkroom, может использовать намерение Apply Filter, чтобы пользователи могли просто сказать: «Примените кинематографический фильтр к фотографии, которую я сделал вчера с Йеном», и приложение начнет действовать. Со временем будет добавлено больше доменов.

Вначале пользователи смогут работать с приложением Shortcuts, но со временем Siri получит возможность вызывать намерения приложений в поддерживаемых доменах.

Кроме того, как сообщила Apple, приложения, которые соответствуют существующему домену SiriKit, смогут воспользоваться расширенными возможностями Siri, например, правильно отвечать, даже если вы спотыкаетесь в словах, или понимать отсылки к предыдущей части разговора.

Siri также сможет искать данные в приложениях с помощью нового API Spotlight, который позволяет включать сущности приложений в свой индекс. Эти сущности относятся к семантическому индексу Apple Intelligence, содержащему такие вещи, как фотографии, сообщения, файлы, события календаря и многое другое.