Улучшает ли GitHub Copilot качество кода?

За два года, прошедшие с момента выхода GitHub Copilot в открытый доступ, искусственный интеллект кардинально изменил процесс разработки программного обеспечения. С помощью GitHub Copilot разработчики могут создавать код на 55% быстрее. Предыдущее исследование также показало, что 85% разработчиков чувствуют себя более уверенно в своем коде, а 88% — в потоке, используя GitHub Copilot.

Но остается вопрос: качество кода, написанного с помощью GitHub Copilot, объективно лучше или хуже?

Чтобы ответить на этот вопрос, в GitHub провели рандомизированное контролируемое исследование, чтобы понять, насколько функциональным, читабельным, надежным, поддерживаемым, лаконичным и заслуживающим одобрения является код, написанный с помощью GitHub Copilot.

В исследовании приняли участие 202 разработчика с опытом работы не менее пяти лет. Половине из них случайным образом был предоставлен доступ к GitHub Copilot, а другая половина была проинструктирована не использовать никакие инструменты искусственного интеллекта. Всем участникам было предложено выполнить задание по написанию конечных точек API для веб-сервера. Затем специалисты оценили код с помощью модульных тестов и экспертной оценки.

Результаты в целом показывают, что код, написанный с помощью GitHub Copilot, обладает повышенной функциональностью и улучшенной читаемостью, имеет более высокое качество и получает большее количество одобрений.

Основные результаты исследования:

• Повышение функциональности: разработчики с доступом к GitHub Copilot имели на 56% больше шансов пройти все 10 модульных тестов в исследовании, что говорит о том, что GitHub Copilot помогает разработчикам писать более функциональный код.

• Улучшенная читаемость: в ходе слепых проверок код, написанный с помощью GitHub Copilot, содержал значительно меньше ошибок в читаемости, что позволило разработчикам написать в среднем на 13.6% больше строк кода, не сталкиваясь с проблемами читаемости.

• Общее улучшение качества кода: читаемость повысилась на 3.62%, надежность — на 2.94%, сопровождаемость — на 2.47%, а краткость — на 4.16%. Все показатели были статистически значимыми. Эти показатели качества соответствовали тем, что были обнаружены в отчете DORA 2024.
• Более высокие показатели одобрения: разработчики на 5% чаще одобряют код, написанный с помощью GitHub Copilot, что означает, что такой код быстрее готов к слиянию, что ускоряет время исправления ошибок или развертывания новых функций.