Stability AI выпустила модель генерации звука, которая может работать на смартфонах

ИИ-стартап Stability AI выпустил Stable Audio Open Small, ИИ-модель для генерации музыкальных фрагментов, которая, по утверждению компании, является самой быстрой на рынке — и достаточно эффективной для работы на смартфонах.

Stable Audio Open Small — плод сотрудничества между Stability AI и Arm, чипмейкером, который производит многие процессоры для планшетов, телефонов и других мобильных устройств. Хотя ряд приложений, основанных на искусственном интеллекте, могут генерировать аудио, например Suno и Udio, большинство из них опираются на облачную обработку, что означает невозможность их использования в автономном режиме.

Stability также утверждает, что обучающий набор Stable Audio Open Small полностью состоит из бесплатных песен аудиобиблиотек Free Music Archive и Freesound. В отличие от обучающих наборов вышеупомянутых Suno и Udio, которые, как сообщается, содержат контент, защищенный авторским правом, что представляет собой риск для интеллектуальной собственности.

Stable Audio Open Small имеет 341 миллион параметров и оптимизирован для работы на процессорах Arm. Разработанная для быстрой генерации коротких аудиосэмплов и звуковых эффектов (например, барабанных и инструментальных риффов), Stable Audio Open Small может создать до 11 секунд аудио на смартфоне менее чем за 8 секунд, утверждает Stability AI.

Вот сэмпл, созданный Stable Audio Open Small:

Модель не лишена ограничений. Stable Audio Open Small поддерживает только подсказки на английском языке, и Stability отмечает в своей документации, что модель не может генерировать реалистичный вокал или высококачественные песни. Модель также не может одинаково хорошо работать с разными музыкальными стилями, предупреждает Stability, что является следствием использования западных обучающих данных.

Еще одна потенциальная проблема для разработчиков: Stable Audio Open Small имеет несколько ограниченные условия использования. Исследователи, любители и компании с годовым доходом менее 1 миллиона долларов могут использовать его бесплатно, но разработчики и организации с доходом более 1 миллиона долларов должны платить за корпоративную лицензию Stability.

Компания Stability, которая стоит за популярной моделью генерации изображений Stable Diffusion, в прошлом году привлекла новые средства, поскольку инвесторы, включая Эрика Шмидта и основателя Napster Шона Паркера, пытались изменить дела компании. Эмад Мостаке, соучредитель и бывший генеральный директор Stability, по сообщениям, неправильно управлял Stability, что привело к финансовому краху, увольнению сотрудников, срыву партнерства с Canva и росту беспокойства инвесторов по поводу перспектив компании.

За последние несколько месяцев Stability наняла нового генерального директора, назначила в совет директоров кинорежиссера Джеймса Кэмерона и выпустила несколько новых моделей генерации изображений.