За два года, прошедшие с момента выхода GitHub Copilot в открытый доступ, искусственный интеллект кардинально изменил процесс разработки программного обеспечения. С помощью GitHub Copilot разработчики могут создавать код на 55% быстрее. Предыдущее исследование также показало, что 85% разработчиков чувствуют себя более уверенно в своем коде, а 88% — в потоке, используя GitHub Copilot.
Но остается вопрос: качество кода, написанного с помощью GitHub Copilot, объективно лучше или хуже?
Чтобы ответить на этот вопрос, в GitHub провели рандомизированное контролируемое исследование, чтобы понять, насколько функциональным, читабельным, надежным, поддерживаемым, лаконичным и заслуживающим одобрения является код, написанный с помощью GitHub Copilot.
В исследовании приняли участие 202 разработчика с опытом работы не менее пяти лет. Половине из них случайным образом был предоставлен доступ к GitHub Copilot, а другая половина была проинструктирована не использовать никакие инструменты искусственного интеллекта. Всем участникам было предложено выполнить задание по написанию конечных точек API для веб-сервера. Затем специалисты оценили код с помощью модульных тестов и экспертной оценки.
Результаты в целом показывают, что код, написанный с помощью GitHub Copilot, обладает повышенной функциональностью и улучшенной читаемостью, имеет более высокое качество и получает большее количество одобрений.
Основные результаты исследования:
- Повышение функциональности: разработчики с доступом к GitHub Copilot имели на 56% больше шансов пройти все 10 модульных тестов в исследовании, что говорит о том, что GitHub Copilot помогает разработчикам писать более функциональный код.
- Улучшенная читаемость: в ходе слепых проверок код, написанный с помощью GitHub Copilot, содержал значительно меньше ошибок в читаемости, что позволило разработчикам написать в среднем на 13.6% больше строк кода, не сталкиваясь с проблемами читаемости.
- Общее улучшение качества кода: читаемость повысилась на 3.62%, надежность — на 2.94%, сопровождаемость — на 2.47%, а краткость — на 4.16%. Все показатели были статистически значимыми. Эти показатели качества соответствовали тем, что были обнаружены в отчете DORA 2024.
- Более высокие показатели одобрения: разработчики на 5% чаще одобряют код, написанный с помощью GitHub Copilot, что означает, что такой код быстрее готов к слиянию, что ускоряет время исправления ошибок или развертывания новых функций.