Google выпускает новую модель Gemini, которая может локально работать на роботах

Google DeepMind во вторник выпустил новую языковую модель под названием Gemini Robotics On-Device, которая может локально запускать задачи на роботах без необходимости подключения к Интернету.

Основанная на предыдущей модели Gemini Robotics компании, выпущенной в марте, Gemini Robotics On-Device может управлять движениями робота. Разработчики могут контролировать и настраивать модель в соответствии с различными потребностями, используя подсказки на естественном языке.

В бенчмарках Google утверждает, что модель работает на уровне, близком к облачной модели Gemini Robotics. Компания утверждает, что она превосходит другие модели на устройстве в общих тестах производительности, хотя и не называет эти модели.

В демонстрации компания показала роботов, работающих на этой локальной модели, которые выполняют такие действия, как расстегивание сумок и складывание одежды. Google утверждает, что, хотя модель была обучена для роботов ALOHA, позже она адаптировала ее для работы с двуруким роботом Franka FR3 и гуманоидным роботом Apollo от Apptronik.

Google утверждает, что двурукий Franka FR3 успешно справился со сценариями и объектами, которые он «не видел» раньше, например, со сборкой на промышленном конвейере.

Google DeepMind также выпускает Gemini Robotics SDK. Компания заявила, что разработчики могут показывать роботам от 50 до 100 демонстраций, чтобы обучить их новым задачам, используя эти модели на физическом симуляторе MuJoCo.

Другие разработчики моделей ИИ также пробуют свои силы в робототехнике. Nvidia создает платформу для создания базовых моделей для гуманоидов; Hugging Face не только разрабатывает открытые модели и наборы данных для робототехники, но и работает над роботами; а поддерживаемый Mirae Asset корейский стартап RLWRLD работает над созданием базовых моделей для роботов.