В марте Google представил Android Bench — таблицу лидеров LLM для реальных задач разработки Android-приложений. Цель заключалась в обеспечении прозрачности возможностей моделей в Android-разработке и стимулировании их улучшения, чтобы предоставить больше полезных вариантов ИИ для повседневной работы. С тех пор компания улучшила бенчмарк на основе отзывов, включив в оценку модели с открытыми весами и добавив в таблицу лидеров параметры стоимости и эффективности.
Но возможности ИИ постоянно развиваются, и измерение должно соответствовать этому развитию. В рамках июльского релиза Google внедрил фреймворк Harbor, который включает в себя обновленную версию агента бенчмаркинга, используемого для оценки моделей.
Наряду с этим изменением в оценке, в этом июльском релизе добавили в таблицу лидеров 8 новых моделей (Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus и Qwen 3.7 Max). А кроме того сообщество Android-разработчиков теперь может внести свой вклад в бенчмарк.
Обновление методологии с использованием фреймворка Harbor
При разработке Android Bench инженеры основывали методологию на ведущих отраслевых стандартах, доступных на тот момент. Они использовали mini-swe-agent v1, универсальный агент для бенчмаркинга, и адаптировали его к нюансам Android-разработки, чтобы обеспечить базовое измерение возможностей моделей для распространенных задач Android-разработки.
Чтобы и дальше предоставлять самые современные оценки, которые точно измеряют возможности новейших моделей в разработке, Google стандартизирует бенчмарк в соответствии с фреймворком Harbor. Harbor определяет стандарты и интеграции, которые упрощают запуск бенчмарка для любого пользователя, оценку его предпочтительной конфигурации или обмен результатами, обеспечивая дополнительную прозрачность и наглядность.
Это обновление позволяет более тщательно оценивать модели и их возможности, и в Google повторно запустили бенчмарк на всех моделях, чтобы установить обновленный базовый уровень. Это означает, что произошли незначительные изменения в системе подсчета баллов, но вы по-прежнему сможете просматривать исторические результаты в архиве на веб-сайте.
Расширение таблицы лидеров на 8 новых моделей
В рамках стремления поддерживать актуальность таблицы лидеров в бенчмарк добавили Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus и Qwen 3.7 Max.
Вы видите, что Claude Fable 5 находится на вершине таблицы лидеров с результатом 84,5, за ним следует GPT 5.5 с 80,2, а Claude Sonnet 5 занимает 3-е место с результатом 76,2.
Если сравнивать только модели Openweight, то GLM 5.2 занимает первое место с результатом 72,2, за ней следует Kimi K2.7 Code с результатом 70,4.
Вы можете ознакомиться с показателями производительности и эффективности моделей в обновленной таблице лидеров, чтобы увидеть, как эти новые и предыдущие модели справляются со специфическими для Android задачами, такими как миграция Jetpack Compose, сетевые возможности носимых устройств и обновления API платформы.
Открытие Android Bench для сообщества
С самого начала в Google ценили открытый и прозрачный подход, поэтому сделали первоначальную методологию и тестовый стенд общедоступными на GitHub. Разработчики просили предоставить возможность оставлять отзывы о наборе данных, поэтому теперь делают шаг вперед в сотрудничестве, предоставляя сообществу разработчиков Android возможность влиять на Android Bench.
Начиная с сегодняшнего дня, вы можете внести свой вклад в Android Bench двумя способами:
- Разрабатывайте и отправляйте собственные задачи разработки Android, чтобы оценить, как модели обрабатывают сценарии, которые важны для вас.
- Проводите и делитесь результатами бенчмарк-тестирования, проверяя свои предпочтительные модели на готовом наборе данных или на собственных задачах.
В Google будут рассматривать представленные задачи и оценивать, будут ли они добавлены в бенчмарк. В компании надеются создать бенчмарк, который действительно отражает разнообразные повседневные реалии глобального сообщества Android-разработчиков.
Как всегда, вы можете найти обновленную таблицу лидеров или ознакомиться с методологией на веб-сайте.