$30.5 млн в посевном раунде: CentML — оптимизация обучения и работы ИИ-моделей

Вопреки сложившемуся мнению, эра крупных посевных раундов не закончилась — по крайней мере, в области ИИ.

Сегодня компания CentML, разрабатывающая инструменты для снижения стоимости и повышения производительности развертывания моделей машинного обучения, объявила о привлечении $27 млн в рамках расширенного посевного раунда при участии Gradient Ventures, TR Ventures, Nvidia и вице-президента Microsoft Azure AI Миши Биленко.

Первоначально CentML закрыла посевной раунд в 2022 году, но в последние несколько месяцев, по мере роста интереса к продукту, раунд был расширен, в результате чего общая сумма привлеченных средств достигла $30.5 млн.

По словам соучредителя и генерального директора CentML Геннадия Пехименко, привлеченный капитал будет использован для развития продуктов и исследований CentML, а также для расширения инженерной команды и увеличения штата сотрудников, работающих в США и Канаде, до 30 человек.

Пехименко, доцент Университета Торонто, стал соучредителем CentML в прошлом году вместе с Акбаром Нурлыбаевым и аспирантами Шангом Вангом и Анандом Джаяраджаном. По словам Пехименко, их объединяла идея создания технологии, способной расширить доступ к вычислениям в условиях обострения проблемы поставок чипов для ИИ.

«Стоимость машинного обучения, нехватка талантов и чипов… Любая компания, работающая в области ИИ и машинного обучения, сталкивается как минимум с одной из этих проблем, а большинство — с несколькими сразу», — сказал Пехименко в интервью TechCrunch. «Самые дорогие чипы обычно недоступны из-за большого спроса со стороны как больших компаний, так и стартапов. Это приводит к тому, что компании жертвуют размером модели, которую они могут развернуть, или к увеличению задержек вывода для уже развернутых моделей».

Большинство компаний при обучении моделей, особенно генеративных моделей ИИ, таких как ChatGPT и Stable Diffusion, в значительной степени полагаются на сервера на базе GPU. Способность графических процессоров выполнять множество параллельных вычислений делает их хорошо подходящими для обучения наиболее продвинутых современных ИИ.

Но чипов не хватает. Компания Microsoft столкнулась с нехваткой серверного оборудования, необходимого для работы искусственного интеллекта, настолько серьезной, что это может привести к перебоям в обслуживании, предупредила компания в летнем отчете о прибылях. А самые производительные карты Nvidia для работы с искусственным интеллектом, как сообщается, уже распроданы до 2024 года.

Это заставило некоторые компании, включая OpenAI, Google, AWS, Meta* и Microsoft, создать — или изучить возможность создания — собственные чипы для обучения моделей. Но и это не стало панацеей. Работа Meta была сопряжена с проблемами, в результате чего компания была вынуждена отказаться от некоторых экспериментальных аппаратных средств. А Google не успевает за спросом на свой собственный аналог GPU, размещенный в облаке, тензорный процессор (TPU), сообщал недавно Wired.

По данным Gartner, в этом году расходы на чипы, ориентированные на ИИ, составят $53 млрд и более чем удвоятся в ближайшие четыре года, поэтому Пехименко считает, что настало время выпустить программное обеспечение, которое позволит повысить эффективность работы моделей на существующем оборудовании.

«Обучение моделей ИИ и машинного обучения становится все более дорогостоящим», — сказал Пехименко. «С помощью технологии оптимизации CentML мы можем сократить расходы до 80% без ущерба для скорости и точности».

Это довольно громкое заявление. Но на высоком уровне программное обеспечение CentML довольно просто понять.

Платформа пытается выявить «узкие места» в процессе обучения модели и предсказать общее время и стоимость развертывания модели. Кроме того, CentML предоставляет доступ к компилятору — компоненту, который переводит исходный код языка программирования в машинный код, понятный аппаратным средствам, таким как GPU, — для автоматической оптимизации рабочих нагрузок по обучению моделей с целью достижения наилучшей производительности на целевом оборудовании.

Пехименко утверждает, что программное обеспечение CentML не ухудшает качество моделей и не требует от инженеров «практически никаких усилий».

«Для одного из наших заказчиков мы в 3 раза увеличили скорость работы модели Llama 2 на картах Nvidia A10 GPU», — добавил он.

CentML не первый, кто использует программный подход к оптимизации моделей. У нее есть конкуренты в лице MosaicML, которую компания Databricks приобрела в июне за $1.3 млрд, и OctoML, получившей в ноябре 2021 года денежные средства в размере $85 млн на развитие своей платформы ускорения машинного обучения.

Однако Пехименко утверждает, что методы CentML не приводят к потере точности модели, как это иногда бывает в случае MosaicML, и что компилятор CentML является «новым поколением» и более производительным, чем компилятор OctoML.

В ближайшем будущем CentML планирует обратить внимание на оптимизацию не только обучения моделей, но и их работы, т.е. запуска моделей после их обучения. Графические процессоры сегодня также активно используются при выводе результатов, и Пехименко видит в этом потенциальное направление развития компании.

«Платформа CentML может работать с любыми моделями», — сказал Пехименко. «CentML производит оптимизированный код для различных графических процессоров, уменьшает объем памяти, необходимой для развертывания моделей, и, таким образом, позволяет командам развертывать модели на более компактных и дешевых графических процессорах».