Meta* только что опубликовала веса Muse Spark Open — мультимодальной большой языковой модели с архитектурой mixture-of-experts. Всего у неё более 800 млрд параметров, из которых 40 млрд активируются для каждого токена, и запускать её можно на новейших Mac Studio.
Meta тесно сотрудничала с Apple, чтобы сделать это возможным именно на Mac Studio с M5 Ultra при поддержке MLX — фреймворка машинного обучения с открытым исходным кодом, развиваемого при участии Apple. В результате получилась передовая модель, которую можно локально запускать на настольном оборудовании.
В блоге Apple Machine Learning Research M5 Ultra протестировали как отдельно, так и в связке с другими Mac Studio на M5 Ultra, и результаты впечатляют. Если вам вообще интересно локально запускать большие языковые модели, стоит изучить все подробности, но несколько моментов особенно привлекают внимание:
- Время до первого токена у M5 Ultra в 4,6 раза лучше, чем у M3 Ultra, благодаря Neural Accelerators в M5 Ultra.
- Скорость генерации токенов на M5 Ultra в 1,6 раза выше, чем на M4 Ultra.
Однако благодаря поддержке RDMA через Thunderbolt 5 в MLX большие модели вроде Muse Spark Open можно распределять между несколькими Mac Studio с M5 Ultra, ещё сильнее ускоряя выполнение задач. Для очень больших контекстов это означает сокращение времени до первого токена вплоть до 1,8 раза, но именно такой подход также позволяет вообще разместить модель на настольном оборудовании, поскольку даже 4-битная версия Muse Spark Open требует 493 ГБ памяти.
Часть тестов Apple проводилась на версии Mac Studio с M5 Ultra и 512 ГБ памяти, выход которой запланирован на конец года. Apple пока не сообщила, сколько будет стоить новая конфигурация, но для понимания масштаба: модель с 256 ГБ памяти и накопителем на 2 ТБ обойдётся более чем в $11 000. Поэтому версия на 512 ГБ — явно не типичная потребительская покупка, особенно учитывая, что для запуска Muse Spark Open потребуется как минимум две такие машины.
Тем не менее это ничуть не умаляет достижения. Muse Spark Open находится на переднем крае среди моделей, которые можно локально запускать на компьютерах, способных стоять прямо на вашем столе и не требующих больше энергии, чем может обеспечить обычная розетка. Это стало возможным благодаря уникальному сочетанию Apple Silicon и обновлений MLX. А с учётом темпов развития ИИ и аппаратной платформы Apple Silicon то, что сегодня доступно только при корпоративных бюджетах, может стать массово доступным гораздо быстрее, чем многие из нас ожидают.