LLM Compiler оптимизирует код и компиляторы

Компания Meta* представила Meta Large Language Model Compiler — набор моделей с открытым исходным кодом на основе Code Llama, предназначенных для оптимизации кода и изменений в разработке компиляторов. Эта инновация способна изменить подход разработчиков к оптимизации кода, сделав ее более быстрой, эффективной и экономически выгодной.

Исследователи, создавшие LLM Compiler, устранили существенный пробел в применении больших языковых моделей для оптимизации кода и компиляторов, который был недостаточно изучен. Обучив модель на огромном корпусе из 546 миллиардов лексем LLVM-IR и ассемблерного кода, они позволили ей понять промежуточные представления компилятора, язык ассемблера и методы оптимизации.

Today we’re announcing Meta LLM Compiler, a family of models built on Meta Code Llama with additional code optimization and compiler capabilities. These models can emulate the compiler, predict optimal passes for code size, and disassemble code. They can be fine-tuned for new… pic.twitter.com/GFDZDbZ1VF

— AI at Meta (@AIatMeta) June 27, 2024

«LLM Compiler улучшает понимание промежуточных представлений (IR) компилятора, языка ассемблера и методов оптимизации», — объясняют исследователи в своей статье. «Благодаря такому улучшенному пониманию модель может выполнять задачи, которые раньше были под силу только специалистам или специализированным инструментам».

Оптимизация кода с помощью ИИ

LLM Compiler добился замечательных результатов в оптимизации размера кода. В тестах модель достигла 77% оптимизационного потенциала автонастраивающегося поиска, что может значительно сократить время компиляции и повысить эффективность кода в различных приложениях.

Возможности модели при дизассемблировании оказались еще более впечатляющими. LLM Compiler продемонстрировал 45% успеха в дизассемблировании туда и обратно (с 14% точных совпадений) при преобразовании сборок x86_64 и ARM обратно в LLVM-IR. Эта способность может оказаться бесценной для задач реверс-инжиниринга и сопровождения устаревшего кода.

Крис Камминс, один из основных участников проекта, подчеркнул потенциальное влияние этой технологии: «Предоставляя доступ к предварительно обученным моделям двух размеров (7 миллиардов и 13 миллиардов параметров) и демонстрируя их эффективность с помощью донастроенных версий, — сказал он, — LLM Compiler открывает путь к изучению неиспользованного потенциала LLM в области оптимизации кода и компиляторов».

Трансформация разработки программного обеспечения:

Последствия применения этой технологии весьма обширны. Разработчики программного обеспечения могут получить преимущества в виде более быстрого времени компиляции, более эффективного кода и новых инструментов для понимания и оптимизации сложных систем. Исследователи получат новые возможности для изучения оптимизаций компиляторов на основе ИИ, что потенциально может привести к прорыву в подходах к разработке программного обеспечения.

Особого внимания заслуживает решение Meta выпустить LLM Compiler под разрешительной коммерческой лицензией. Этот шаг позволяет как академическим исследователям, так и практикам использовать и адаптировать технологию, что потенциально ускоряет инновации в этой области.

Однако выпуск таких мощных моделей ИИ поднимает вопросы об изменении ландшафта разработки программного обеспечения. Поскольку ИИ становится способным решать сложные задачи программирования, это может привести к изменению навыков, необходимых будущим инженерам-программистам и разработчикам компиляторов.

Будущее искусственного интеллекта в программировании:

LLM Compiler — это не просто улучшение, а фундаментальный сдвиг в подходе к технологии компиляторов и оптимизации кода. Этим выпуском Meta бросает вызов как академическим, так и промышленным кругам, чтобы расширить границы возможного в программировании с помощью ИИ.

Поскольку область оптимизации кода с помощью ИИ продолжает развиваться, будет интересно увидеть, как разработчики и исследователи по всему миру принимают, адаптируют и улучшают эту революционную технологию.