Тесты для агентского программирования становятся всё ближе к реальной разработке программного обеспечения. Для команд, работающих с Kotlin, главный вопрос заключается в том, насколько надёжно ИИ-агенты способны выполнять сквозные задачи: от чтения описания проблемы до подготовки решения, успешно проходящего проверку.
В JetBrains делают первый шаг к устранению этого пробела и выпускают Kotlin Benchmark — официальный тест JetBrains для оценки ИИ-агентов программирования на задачах разработки на Kotlin. Цель — предоставить разработчикам достоверный и общедоступный способ оценивать эффективность разных агентов и сравнивать их конфигурации на задачах, приближенных к повседневной работе.
Одновременно с выпуском теста публикуются все связанные с ним материалы на GitHub и запускают официальную таблицу результатов.
Как работает Kotlin Benchmark
Первая общедоступная версия Kotlin Benchmark основана на методологии SWE-bench и сосредоточена на задачах разработки, требующих работы с Kotlin-проектом на уровне всего репозитория.
Для Kotlin уже существуют качественные наборы тестов, ориентированные непосредственно на модели, включая Kotlin_HumanEval и Kotlin_QA. Они позволяют оценивать понимание синтаксиса языка и его основных концепций.
Kotlin Benchmark проверяет другой уровень возможностей: насколько хорошо ИИ-агент программирования способен выполнять проверяемые инженерные задачи в существующих Kotlin-проектах.
Набор данных включает 105 инженерных задач из активно развиваемых проектов с открытым исходным кодом. Для выполнения каждой задачи ИИ-агент должен:
- разобраться в реальном описании проблемы;
- изучить контекст проекта;
- подготовить работоспособное исправление.
Решения строго проверяются в контейнеризированных средах. Задача считается решённой только в том случае, если созданное агентом исправление успешно проходит все необходимые тесты.
Подробнее о настройке среды и сборе данных можно прочитать на странице с описанием методологии.
Первые результаты
Первые оценки показывают, что ведущие агенты программирования способны справиться со значительной частью задач текущей версии Kotlin Benchmark.
Эти результаты относятся к первой общедоступной версии теста и пока не учитывают самые новые выпуски моделей. В JetBrains уже работают над второй версией и будут обновлять таблицу лидеров по мере появления новых результатов.
Лучший результат в этом запуске показал Claude Code с моделью Opus 4.7 в режиме xhigh. Он решил 90 из 105 задач, что соответствует показателю 85,71%.
Следом расположились:
- JetBrains Junie с Opus 4.7 в режиме
max— 81,9%; - Codex с GPT-5.5 в режиме
xhigh— 81,9%.
Полная таблица результатов доступна на сайте Kotlin. Там можно подробно сравнить агентов и их конфигурации.
Приведённые результаты относятся к первой общедоступной версии Kotlin Benchmark. Таблица лидеров будет обновляться по мере добавления оценок новых моделей.
Для команд, выбирающих агента программирования, тест предоставляет единую основу для сравнения разных конфигураций на Kotlin-задачах. Благодаря этому можно опираться не только на заявления разработчиков соответствующих продуктов.
При этом результаты следует воспринимать как ориентир, а не как гарантию эффективности для любой кодовой базы. Итоговое качество работы в реальных проектах зависит от архитектуры, внутренних программных интерфейсов, стандартов написания кода, используемых инструментов и процесса проверки.
Что дальше
Для JetBrains важен открытый подход, поэтому тест построен на инфраструктуре Multi-SWE-bench с открытым исходным кодом, а все наборы данных и средства запуска проверок опубликованы в открытом доступе.
В компании рассматривают такие тесты как непрерывный процесс измерения качества. В дальнейшем планируется развивать Kotlin Benchmark по нескольким направлениям.
Более широкий охват экосистемы Kotlin
Хотят, чтобы состав задач лучше отражал реальное применение Kotlin, включая Android и Kotlin Multiplatform, а также охватывал больше уровней сложности.
Дополнительные показатели оценки
Успешное прохождение тестов является важным показателем корректности, но это лишь одна часть оценки агента.
В будущих версиях также будут учитываться:
- стоимость выполнения;
- производительность;
- удобство сопровождения;
- качество кода.
Больше агентов и конфигураций моделей
Планируют оценивать больше коммерческих агентов, сочетаний агентов и моделей, а также моделей с открытыми весами. Это позволит командам сравнивать более широкий набор вариантов.
Kotlin Benchmark открыт для всех, поэтому вы можете изучить задачи, сравнить результаты и рассказать нам, какие сценарии разработки на Kotlin стоит добавить в следующие версии.