Kotlin Benchmark для ИИ-агентов

Тесты для агентского программирования становятся всё ближе к реальной разработке программного обеспечения. Для команд, работающих с Kotlin, главный вопрос заключается в том, насколько надёжно ИИ-агенты способны выполнять сквозные задачи: от чтения описания проблемы до подготовки решения, успешно проходящего проверку.

В JetBrains делают первый шаг к устранению этого пробела и выпускают Kotlin Benchmark — официальный тест JetBrains для оценки ИИ-агентов программирования на задачах разработки на Kotlin. Цель — предоставить разработчикам достоверный и общедоступный способ оценивать эффективность разных агентов и сравнивать их конфигурации на задачах, приближенных к повседневной работе.

Одновременно с выпуском теста публикуются все связанные с ним материалы на GitHub и запускают официальную таблицу результатов.

Как работает Kotlin Benchmark

Первая общедоступная версия Kotlin Benchmark основана на методологии SWE-bench и сосредоточена на задачах разработки, требующих работы с Kotlin-проектом на уровне всего репозитория.

Для Kotlin уже существуют качественные наборы тестов, ориентированные непосредственно на модели, включая Kotlin_HumanEval и Kotlin_QA. Они позволяют оценивать понимание синтаксиса языка и его основных концепций.

Kotlin Benchmark проверяет другой уровень возможностей: насколько хорошо ИИ-агент программирования способен выполнять проверяемые инженерные задачи в существующих Kotlin-проектах.

Набор данных включает 105 инженерных задач из активно развиваемых проектов с открытым исходным кодом. Для выполнения каждой задачи ИИ-агент должен:

• разобраться в реальном описании проблемы;
• изучить контекст проекта;
• подготовить работоспособное исправление.

Решения строго проверяются в контейнеризированных средах. Задача считается решённой только в том случае, если созданное агентом исправление успешно проходит все необходимые тесты.

Подробнее о настройке среды и сборе данных можно прочитать на странице с описанием методологии.

Первые результаты

Первые оценки показывают, что ведущие агенты программирования способны справиться со значительной частью задач текущей версии Kotlin Benchmark.

Эти результаты относятся к первой общедоступной версии теста и пока не учитывают самые новые выпуски моделей. В JetBrains уже работают над второй версией и будут обновлять таблицу лидеров по мере появления новых результатов.

Лучший результат в этом запуске показал Claude Code с моделью Opus 4.7 в режиме xhigh. Он решил 90 из 105 задач, что соответствует показателю 85,71%.

Следом расположились:

• JetBrains Junie с Opus 4.7 в режиме max — 81,9%;
• Codex с GPT-5.5 в режиме xhigh — 81,9%.

Полная таблица результатов доступна на сайте Kotlin. Там можно подробно сравнить агентов и их конфигурации.

Приведённые результаты относятся к первой общедоступной версии Kotlin Benchmark. Таблица лидеров будет обновляться по мере добавления оценок новых моделей.

Для команд, выбирающих агента программирования, тест предоставляет единую основу для сравнения разных конфигураций на Kotlin-задачах. Благодаря этому можно опираться не только на заявления разработчиков соответствующих продуктов.

При этом результаты следует воспринимать как ориентир, а не как гарантию эффективности для любой кодовой базы. Итоговое качество работы в реальных проектах зависит от архитектуры, внутренних программных интерфейсов, стандартов написания кода, используемых инструментов и процесса проверки.

Что дальше

Для JetBrains важен открытый подход, поэтому тест построен на инфраструктуре Multi-SWE-bench с открытым исходным кодом, а все наборы данных и средства запуска проверок опубликованы в открытом доступе.

В компании рассматривают такие тесты как непрерывный процесс измерения качества. В дальнейшем планируется развивать Kotlin Benchmark по нескольким направлениям.

Более широкий охват экосистемы Kotlin

Хотят, чтобы состав задач лучше отражал реальное применение Kotlin, включая Android и Kotlin Multiplatform, а также охватывал больше уровней сложности.

Дополнительные показатели оценки

Успешное прохождение тестов является важным показателем корректности, но это лишь одна часть оценки агента.

В будущих версиях также будут учитываться:

• стоимость выполнения;
• производительность;
• удобство сопровождения;
• качество кода.

Больше агентов и конфигураций моделей

Планируют оценивать больше коммерческих агентов, сочетаний агентов и моделей, а также моделей с открытыми весами. Это позволит командам сравнивать более широкий набор вариантов.

Kotlin Benchmark открыт для всех, поэтому вы можете изучить задачи, сравнить результаты и рассказать нам, какие сценарии разработки на Kotlin стоит добавить в следующие версии.