Французский ИИ-стартап Mistral выпустил свои первые генеративные модели ИИ, предназначенные для работы на периферийных устройствах, таких как ноутбуки и телефоны.
Новое семейство моделей, которое Mistral называет «Les Ministraux», можно использовать или настраивать для различных приложений, от базовой генерации текста до работы в связке с более мощными моделями для выполнения задач.
Доступны две модели Les Ministraux — Ministral 3B и Ministral 8B, обе из которых имеют контекстное окно в 128,000 лексем, что означает, что они могут освоить примерно 50-страничную книгу.
«Наши самые инновационные клиенты и партнеры все чаще спрашивают о локальных конфиденциальных инференсах для таких важных приложений, как перевод на устройстве, умные помощники, работающие без интернета, локальная аналитика и автономная робототехника», — пишет компания в своем блоге. «Les Ministraux были созданы, чтобы обеспечить эффективное с точки зрения вычислений и низких задержек решение для этих сценариев».
Ministral 8B доступна для загрузки уже сегодня — правда, исключительно в исследовательских целях. Mistral просит разработчиков и компании, заинтересованные в самостоятельном развертывании Ministral 8B или Ministral 3B, связаться с ней для получения коммерческой лицензии.
В противном случае разработчики могут использовать Ministral 3B и Ministral 8B через облачную платформу Mistral La Platforme или другие облака, с которыми стартап заключит партнерские соглашения в ближайшие недели. Стоимость Ministral 8B составляет 10 центов за миллион выходных/входных токенов (~750,000 слов), а Ministral 3B — 4 цента за миллион выходных/входных токенов.
В последнее время наблюдается тенденция к созданию небольших моделей, которые дешевле и быстрее обучаются, настраиваются и работают, чем их более крупные собратья. Google продолжает развивать свое семейство малых моделей Gemma, а Microsoft предлагает свою коллекцию моделей Phi. В последнем обновлении своего пакета Llama компания Meta* представила несколько небольших моделей, оптимизированных для работы на устройствах.
Mistral утверждает, что Ministral 3B и Ministral 8B превосходят аналогичные модели Llama и Gemma, а также свою собственную модель Mistral 7B, по нескольким контрольным показателям, предназначенным для оценки способности следовать инструкциям и решать задачи.
Парижская компания Mistral, которая недавно привлекла 640 миллионов долларов венчурного капитала, продолжает постепенно расширять портфель своих продуктов в области ИИ. За последние несколько месяцев компания запустила бесплатный сервис для разработчиков, позволяющий тестировать ее модели, SDK для тонкой настройки этих моделей, а также новые модели, включая генеративную модель кода под названием Codestral.
Основанная выпускниками Meta и Google DeepMind, компания Mistral ставит своей целью создать флагманские модели, которые будут конкурировать с самыми эффективными моделями на сегодняшний день, такими как OpenAI GPT-4o и Anthropic Claude — и, в идеале, зарабатывать деньги в процессе. Хотя «зарабатывать деньги» оказывается непростой задачей (как и для большинства стартапов в области генеративного ИИ), Mistral, по сообщениям, начала получать прибыль этим летом.