Компания Magic, занимающаяся созданием моделей искусственного интеллекта для генерации кода и автоматизации различных задач по разработке программного обеспечения, привлекла новый крупный транш денежных средств от инвесторов, включая бывшего генерального директора Google Эрика Шмидта.
В четверг в своем блоге Magic сообщила, что закрыла раунд привлечения средств в размере 320 миллионов долларов, в который внесли вклад Шмидт, CapitalG от Alphabet, Atlassian, Элад Гил, Джейн Стрит, Нат Фридман и Дэниел Гросс, Sequoia и другие. Благодаря этому финансированию общая сумма привлеченных средств компании достигла почти полумиллиарда долларов (465 миллионов долларов), что позволило ей войти в когорту самых финансируемых стартапов в области ИИ-программирования, в которую входят Codeium, Cognition, Poolside, Anysphere и Augment.
В июле агентство Reuters сообщило, что Magic хотела привлечь более 200 миллионов долларов при оценке в 1.5 миллиарда долларов. Очевидно, сумма сделки оказалась выше ожиданий, хотя текущую оценку стартапа выяснить не удалось. В феврале Magic оценивалась в 500 миллионов долларов.
В четверг Magic также объявила о сотрудничестве с Google Cloud, чтобы построить два «суперкомпьютера» на платформе Google Cloud Platform. Magic-G4 будет состоять из графических процессоров Nvidia H100, а Magic G5 будет использовать чипы нового поколения Blackwell от Nvidia, которые должны появиться в следующем году.
Magic заявляет, что со временем намерена расширить последний кластер до «десятков тысяч» GPU, а вместе кластеры смогут достичь производительности в 160 эксафлоп, где один эксафлоп равен одному квинтиллиону компьютерных операций в секунду.
«Мы рады сотрудничать с Google и Nvidia, чтобы создать наш суперкомпьютер следующего поколения для искусственного интеллекта на Google Cloud», — сказал в своем заявлении соучредитель и генеральный директор Magic Эрик Стейнбергер. «Система Blackwell от Nvidia значительно повысит эффективность вывода и обучения наших моделей, а Google Cloud предлагает нам самые быстрые сроки масштабирования и богатую экосистему облачных сервисов».
Штайнбергер и Себастьян Де Ро стали со-основателями компании Magic в 2022 году. В предыдущем интервью Штайнбергер рассказал TechCrunch, что потенциал искусственного интеллекта вдохновил его в юном возрасте. Еще в старших классах он вместе с друзьями использовал школьные компьютеры для обучения алгоритмов машинного обучения.
Этот опыт послужил толчком к поступлению Штейнбергера на бакалаврскую программу по информатике в Кембридже (он бросил учебу через год) и, впоследствии, к работе в Meta* в качестве исследователя ИИ. Де Ро — выходец из немецкой компании FireStart, занимающейся управлением бизнес-процессами, где он дослужился до должности технического директора. Штейнбергер и де Ро познакомились в экологической волонтерской организации ClimateScience.org, одним из создателей которой был Штейнбергер.
Magic разрабатывает инструменты на основе искусственного интеллекта (пока не продаются), призванные помочь инженерам-программистам в написании, обзоре, отладке и планировании изменений кода. Инструменты работают как автоматический напарник-программист, пытаясь понять и постоянно узнавать больше о контексте проекта.
Многие платформы делают то же самое, включая GitHub Copilot. Но одна из инноваций Magic заключается в сверхдлинных контекстных окнах ее моделей. Архитектура моделей называется «Сеть долговременной памяти», или сокращенно «LTM».
Контекст модели, или контекстное окно, относится к входным данным (например, коду), которые модель учитывает, прежде чем генерировать выходные данные (например, новый код). Простой вопрос может служить контекстом, как и сценарий фильма, шоу или аудиоклип.
По мере роста контекстных окон увеличивается и размер помещаемых в них документов — или кодовых баз, в зависимости от ситуации. Длинный контекст может помешать моделям «забыть» содержание последних документов и данных, отклониться от темы и ошибиться в экстраполяции.
Magic утверждает, что ее последняя модель, LTM-2-mini, имеет контекстное окно в 100 миллионов токенов. (Токены — это разделенные на части биты исходных данных, например слоги «фан», «тас», «ти» и “ка” в слове «фантастика»). Сто миллионов лексем эквивалентны примерно 10 миллионам строк кода, или 750 романам. И это, безусловно, самое большое контекстное окно среди всех коммерческих моделей. Следующие по величине — флагманские модели Gemini от Google имеют 2 миллиона лексем.
Magic утверждает, что благодаря длинному контексту LTM-2-mini смог практически автономно реализовать измеритель надежности пароля для проекта с открытым исходным кодом и калькулятор с помощью пользовательского UI-фреймворка.
Сейчас компания находится в процессе обучения более крупной версии этой модели.
У Magic небольшая команда — около двух десятков человек — и никакого дохода. Но она стремится на рынок, который, по оценкам Polaris Research, к 2032 году может стоить 27.17 миллиарда долларов, и инвесторы считают это достойным (и, возможно, весьма прибыльным) начинанием.
Несмотря на проблемы с безопасностью, авторскими правами и надежностью вспомогательных инструментов кодирования на базе ИИ, разработчики проявляют к ним энтузиазм: подавляющее большинство респондентов в последнем опросе GitHub заявили, что в той или иной форме уже используют инструменты ИИ. В апреле Microsoft сообщила, что у Copilot более 1.3 миллиона платных пользователей и более 50,000 бизнес-клиентов.
Амбиции Magic гораздо шире, чем автоматизация рутинных задач по разработке программного обеспечения. На сайте компании говорится о пути к AGI — искусственному интеллекту, способному решать задачи более надежно, чем это может сделать человек.