Новости

Gemini Nano теперь доступен на Android в экспериментальном режиме

Сегодня компания открываем доступ к экспериментам с Gemini Nano для всех разработчиков Android с AI Edge SDK через AICore.

Опубликовано

6 дней назад

02.10.2024

Автор:

AppTractor

Gemini, представленные в прошлом году — это самое функциональное семейство ИИ-моделей Google. Созданное для обеспечения гибкости, оно может работать в любых системах — от центров обработки данных до мобильных устройств. С момента анонса Gemini Nano, самой эффективной модели, предназначенной для выполнения задач на устройствах, разработчики Google сотрудничали с ограниченным числом партнеров, чтобы поддержать ряд сценариев использования их приложений.

Сегодня компания открывает доступ к экспериментам с Gemini Nano для всех разработчиков Android с AI Edge SDK через AICore. Первоначально разработчики смогут экспериментировать с текстовыми подсказками на устройствах серии Pixel 9. В будущем будет добавлена поддержка большего количества устройств и модальностей. Ознакомьтесь с документацией и видео, чтобы начать работу. Обратите внимание, что экспериментальный доступ предоставляется в целях разработки и пока не предназначен для использования в продакшене.

Быстрый, частный и экономически эффективный ИИ на устройствах

Генеративный искусственный интеллект на устройстве обрабатывает подсказки непосредственно на вашем устройстве без обращения к серверу. Это дает множество преимуществ: конфиденциальные данные пользователя обрабатываются локально на устройстве, полная функциональность без подключения к Интернету и отсутствие дополнительных денежных затрат на каждое заключение.

Поскольку генеративные модели ИИ на устройствах работают на устройствах с меньшей вычислительной мощностью, чем облачные серверы, они значительно меньше и менее общи, чем их облачные аналоги. В результате модель лучше всего подходит для задач, где запросы могут быть четко определены, а не для неопределенных сценариев использования, таких как чат-боты. Вот несколько вариантов использования, которые вы можете попробовать:

Перефразирование — перефразирование и переписывание текста для изменения тона на более непринужденный или официальный.
Умный ответ — учитывая несколько сообщений в чате, предложите следующий вероятный ответ.
Вычитка — удаление орфографических и грамматических ошибок из текста.
Резюме — создание краткого изложения длинного документа в виде абзаца или пунктов.

Ознакомьтесь с промпт-инжинирингом, чтобы добиться наилучших результатов при экспериментировании с вышеперечисленными вариантами использования. Если вы хотите протестировать свой собственный вариант использования, вы можете загрузить пример приложения, чтобы начать экспериментировать с Gemini Nano.

Бесшовная интеграция моделей в AI Edge SDK с помощью AICore

Интеграция генеративных моделей искусственного интеллекта непосредственно в мобильные приложения является сложной задачей из-за значительных вычислительных ресурсов и пространства для хранения данных, которые они требуют. Чтобы решить эту проблему, в Google разработали AICore, новый системный сервис в Android. AICore позволяет использовать возможности искусственного интеллекта непосредственно на устройстве без необходимости самостоятельно распространять исполняемые файлы, модели и другие компоненты.

Чтобы запустить вычисления с Gemini Nano в AICore, вы используете AI Edge SDK. AI Edge SDK позволяет разработчикам настраивать подсказки и параметры вычислений в соответствии с их конкретными потребностями, обеспечивая больший контроль над каждым вычислением.

Чтобы поэкспериментировать с AI Edge SDK, добавьте в зависимости ваших приложений следующее:

implementation("com.google.ai.edge.aicore:aicore:0.0.1-exp01")

AI Edge SDK позволяет настраивать параметры вывода. Некоторые из наиболее часто используемых параметров включают:

Temperature, которая управляет случайностью. Более высокие значения увеличивают разнообразие и креативность результатов
Top K, который определяет, сколько токенов из самых высокоранговых должно быть рассмотрено
Candidate count — максимальное количество ответов, которые будут возвращены
Max output tokens — длина желаемого ответа

Когда вы будете готовы запустить вывод с вашей моделью, AI Edge SDK предлагает простой способ передачи нескольких строк в качестве входных данных, чтобы учесть длинные данные вывода.

Вот пример:

scope.launch {
    // Single string input prompt
    val input = "I want you to act as an English proofreader. I will 
    provide you texts, and I would like you to review them for any 
    spelling, grammar, or punctuation errors. Once you have finished 
    reviewing the text, provide me with any necessary corrections or 
    suggestions for improving the text: 
    These arent the droids your looking for."
    val response = generativeModel.generateContent(input)
    print(response.text)

    // Or multiple strings as input
    val response = generativeModel.generateContent(
        content {
            text("I want you to act as an English proofreader.I will 
            provide you texts and I would like you to review them for 
            any spelling, grammar, or punctuation errors.")
            text("Once you have finished reviewing the text, 
            provide me with any necessary corrections or suggestions 
            for improving the text:")
            text("These arent the droids your looking for.")
        }
    )
    print(response.text)
}

Руководство по интеграции содержит более подробную информацию о AI Edge SDK, а также подробные инструкции по началу экспериментов с Gemini Nano.

Начало работы

Узнайте больше о Gemini Nano для разработки приложений, посмотрев видеоинструкцию, и попробуйте экспериментальный доступ к Gemini Nano в своем собственном приложении уже сегодня.

Какие телефоны поддерживают Gemini Nano: