Gemini автоматизирует работу с приложениями

На презентации Samsung Galaxy Unpacked компания Google анонсировала возможности автоматизации с помощью агентов для приложения Gemini на Galaxy S26, а также на Pixel 10. Приложение Gemini может выполнять многоэтапные задачи в поддерживаемых приложениях, например, для заказа еды, продуктов и такси, включая Uber, Doordash и Grubhub. Google называет эту функциональность «автоматизацией» (automation).

Gemini запускает приложение в «защищенном виртуальном окне на вашем телефоне». Оно не имеет доступа к «остальной части вашего устройства». Все, что происходит на этом виртуальном экране, обрабатывается в облаке.

Вы можете просматривать это окно и видеть, как Gemini прокручивает, нажимает и вводит текст в режиме реального времени, или продолжать использовать свой телефон и другие приложения. Когда Gemini работает в фоновом режиме, вы будете получать уведомления, которые позволят вам присоединиться к процессу.

В примере с такси вы просите Gemini забронировать предстоящую поездку. Google введет местоположения, выберет тип поездки, установит время отправления и т.д. Вы увидите сообщение «Выполняется эта задача». Нажатие на «Просмотреть прогресс» откроет защищенное окно и уменьшенное изображение приложения. Окружающий интерфейс позволяет «Остановить задачу» и «Взять управление на себя». Чуть выше вы увидите описания того, что делает Gemini, например, «Установка времени отправления».

Что касается безопасности, Gemini предложит вам открыть приложение, чтобы нажать на кнопку покупки или заказа. Кроме того, вам необходимо явно предоставить разрешение, прежде чем появится автоматизация Gemini.

Автоматизация начинается с вашей команды и останавливается, как только задача будет выполнена.

Помимо «заказать поездку домой», другие варианты использования включают организацию заказа ужина («повторно заказать мое последнее блюдо») или формирование корзины покупок. Идея состоит в том, чтобы «переложить эти утомительные многоэтапные задачи на Gemini».

Функция автоматизации Gemini станет доступна с момента поступления в продажу смартфонов серии Galaxy S26 11 марта. В марте она также появится на Pixel 10, Pixel 10 Pro и Pixel 10 Pro XL. Бета-тестирование начинается в США и Корее. На начальном этапе будут поддерживаться только отдельные приложения из трех категорий.

Под капотом

Google «на ранней стадии предоставляет разработчикам возможности, которые устраняют разрыв между вашими приложениями, агентскими приложениями и персонализированными помощниками, такими как Google Gemini».

Хотя мы находимся на ранних, бета-стадиях этого пути, мы разрабатываем эти функции, уделяя первостепенное внимание конфиденциальности и безопасности, поскольку это наш первый шаг в изучении этого парадигмального сдвига в экосистеме приложений.

AppFunctions

Android предлагает два подхода, начиная с AppFunctions. Эта функция была незаметно анонсирована в прошлом году и только сейчас подробно описывается.

AppFunctions — это функция платформы Android 16 и сопутствующая библиотека Jetpack, которая позволяет приложениям предоставлять доступ к определенным функциям для вызывающих, например, агентским приложениям для доступа и выполнения на устройстве.

Разработчики описывают возможности своих приложений как инструменты, которые могут использовать агенты и ИИ-помощники (например, Gemini). Google сравнивает AppFunctions с MCP, популярным для агентов и серверных инструментов. Однако эти функции выполняются локально на устройстве Android.

Вот пример использования AppFunctions приложения Samsung Gallery на Galaxy S26. Эта функция также появится на устройствах Samsung с OneUI 8.5 и выше.

• Вместо того чтобы вручную пролистывать фотоальбомы, теперь можно просто попросить Gemini: «Покажи мне фотографии моей кошки из Samsung Gallery». Gemini принимает запрос пользователя, интеллектуально определяет и запускает нужную функцию, и отображает полученные фотографии из Samsung Gallery непосредственно в приложении Gemini, так что пользователям не нужно выходить из приложения. Этот интерфейс является мультимодальным и может быть реализован с помощью голоса или текста. Пользователи даже могут использовать полученные фотографии в последующих разговорах, например, отправлять их друзьям в текстовых сообщениях.

Тем временем Google заявляет, что приложение Gemini уже использует AppFunctions для интеграции календаря, заметок и задач в приложения Google и стандартные OEM-настройки.

Автоматизация UI

Android также работает над вторым подходом, как это видно на примере автоматизации Gemini, анонсированной сегодня утром для серий Galaxy S26 и Pixel 10.

Хотя AppFunctions предоставляет структурированную основу и больший контроль для взаимодействия приложений с агентами и помощниками ИИ, мы знаем, что не для каждого взаимодействия пока есть отдельная интеграция.

Google «разрабатывает фреймворк автоматизации работы с UI для агентов и ИИ-помощников, чтобы они могли интеллектуально выполнять общие задачи в установленных приложениях пользователей».

Эта платформа берет на себя основную работу, поэтому агенты смогут получить доступ к приложениям без написания кода. Это простой способ расширить охват без серьезных инженерных затрат прямо сейчас.

Google заявляет, что Android 17 «расширит эти возможности, чтобы охватить еще больше пользователей, разработчиков и производителей устройств»:

«В настоящее время мы работаем над созданием пользовательского опыта с небольшой группой разработчиков приложений, уделяя особое внимание высококачественному пользовательскому интерфейсу по мере развития экосистемы. Мы планируем поделиться более подробной информацией позже в этом году о том, как вы можете использовать AppFunctions и автоматизацию пользовательского интерфейса для интеграции с агентами для вашего приложения. Следите за обновлениями».