Открытая модель StarCoder 2 работает на обычных GPU

Компании с поразительной скоростью делают все новые и новые генераторы кода на основе искусственного интеллекта — такие сервисы, как GitHub Copilot и Amazon CodeWhisperer, а также открытые модели, такие как Code Llama. Но эти инструменты далеки от идеала. Многие из них не бесплатны. Другие бесплатны, но только по лицензиям, которые не позволяют использовать их в обычных коммерческих целях.

Почувствовав потребность в альтернативах, ИИ-стартап Hugging Face несколько лет назад объединился с ServiceNow, платформой для автоматизации рабочих процессов, и создал StarCoder, генератор кода с открытым исходным кодом и менее строгой лицензией, чем некоторые другие. Оригинальная версия появилась в сети в начале прошлого года, и с тех пор велась работа над продолжением, StarCoder 2.

StarCoder 2 — это не одна модель генерации кода, а скорее целое семейство. Выпущенное сегодня, оно представлено в трех вариантах, первые два из которых могут работать на большинстве современных потребительских графических процессоров:

• Модель с 3 миллиардами параметров (3B), обученная ServiceNow
• Модель с 7 миллиардами параметров (7B), обученная на Hugging Face
• Модель с 15 миллиардами параметров (15B), обученная компанией Nvidia, новым сторонником проекта StarCoder.

Как и большинство других генераторов кода, StarCoder 2 предлагает завершение строк кода, а также обобщение и извлечение фрагментов кода при запросе на естественном языке. Объем обучающих материалов для новых моделей в 10 раза большем, чем у оригинала (67,5 терабайт против 6.4 терабайт), и StarCoder 2 обеспечивает, по словам Hugging Face, ServiceNow и Nvidia, «значительно» более высокую производительность при меньших затратах на эксплуатацию.

StarCoder 2 можно дотренировать «за несколько часов» с помощью GPU, например Nvidia A100, на данных от собственных или сторонних разработчиков для создания таких приложений, как чат-боты и персональные помощники по программированию. А поскольку StarCoder 2 был обучен на большем и более разнообразном наборе данных, чем оригинальный StarCoder (~619 языков программирования), он может делать более точные предсказания с учетом контекста — по крайней мере, гипотетически.

«StarCoder 2 был создан специально для разработчиков, которым необходимо быстро создавать приложения», — сказал в интервью TechCrunch Харм де Врис, руководитель группы разработчиков StarCoder 2 компании ServiceNow. «С  помощью StarCoder2 разработчики могут  сделать программированиеболее эффективным без ущерба для скорости и качества».

Однако недавнее исследование, проведенное в Стэнфорде, показало, что инженеры, использующие системы генерации кода, чаще вносят уязвимости в безопасность разрабатываемых ими приложений. Кроме того, опрос компании Sonatype, специализирующейся на кибербезопасности, показал, что большинство разработчиков обеспокоены отсутствием понимания того, как создается код и его «разрастанием», когда генераторы создают слишком много кода, чтобы им можно было управлять.

И все же первый вопрос всегда в эффективности. Hugging Face утверждает, что StarCoder 2 15B превосходит Code Llama 33B на подмножестве задач по дополнению кода с вдвое большей скоростью. Правда, какие именно задачи, Hugging Face не уточняет.

Кроме того, StarCoder 2, будучи коллекцией моделей с открытым исходным кодом, также имеет преимущество в том, что его можно развернуть локально и «изучить» исходный код или кодовую базу. В исследовании 2023 года, проведенном Portal26 и CensusWide, 85% компаний заявили, что они с опаской относятся к использованию генеративного ИИ, подобного генератору кода, из-за рисков конфиденциальности и безопасности — например, сотрудники могут делиться конфиденциальной информацией или поставщики обучаться на закрытых данных.

Для разработчиков, которые заинтересованы в бесплатной автономной работе, StarCoder 2 — модели, исходный код и многое другое — можно загрузить со страницы проекта на GitHub.