С ростом популярности больших языковых моделей (LLM) и инструментов генеративного ИИ, таких как ChatGPT, разработчики нашли применение различным способам формирования текста — от написания электронных писем до составления резюме статей. Теперь они хотят помочь вам генерировать музыкальные фрагменты, просто набирая несколько слов.
Бретт Бауман, разработчик PlayListAI (ранее LinupSupply), на этой неделе запустил в App Store новое приложение Songburst. Приложение не требует сложного обучения. Достаточно ввести запрос типа «Успокаивающая фортепианная музыка для прослушивания во время учебы» или «Фанки-биты для вступления к подкасту», чтобы приложение сгенерировало музыкальный клип.
Если вы не можете придумать подходящий вариант, в приложении есть подсказки в различных категориях, включая видео, lo-fi, подкасты, игры, медитации и сэмплы.
Бауман рассказал, что он создал бэкэнд приложения с помощью Vercel, а музыка генерируется с помощью Leap. В настоящее время существует ограничение на генерацию 30 секунд, и некоторые результаты могут быть не очень качественными. По словам Баумана, со временем он намерен увеличить длительность генерируемого музыкального клипа и улучшить его качество.
Songburst можно попробовать бесплатно, но предлагается подписка по цене $9.99 в месяц или $79.99 в год. Подписка дает 20 песенных кредитов в месяц и возможность загружать треки в формате mp3. Пользователи также могут приобрести дополнительные кредиты в виде пакетов из пяти ($7.99), 10 ($11.99) или 20 ($15.99) песен.
По словам Баумана, он создал это приложение потому, что существует мало простых и нативных мобильных решений для генерации музыки из текста, в которых не используется спамерская тактика для привлечения денег за подписку.
Однако он не одинок в попытках создать аккуратное text-to-music приложение. Ахил Толани, создатель таких приложений, как приложение для совместной работы над музыкой Rapchat, выпустил CassetteAI, которое доступно как в Интернете, так и в App Store.
На уровне ввода информации CassetteAI работает аналогично другим приложениям. Вы вводите запрос, а приложение выдает трек. Однако он может генерировать сэмпл длиной до трех минут. По словам создателя приложения, это связано с тем, что оно работает на основе специальной модели, основанной на иерархической архитектуре seq2seq, и обучено на специализированном наборе данных для генерации музыки, не защищенной авторским правом.
Инструмент также предоставляет пользователям интерфейс для создания различных версий сгенерированных треков, их редактирования и смешивания для получения нового трека. Эти инструменты являются довольно базовыми, поэтому пока не стоит рассчитывать на создание многослойного мастер-трека.
По словам Толани, в Cassette AI также есть подписка Pro по цене $4.99 в месяц, которая даст пользователям доступ к неограниченному количеству композиций и доступ к более качественным моделям искусственного интеллекта для улучшения генерации композиций.
Разработчик отметил, что Cassette AI лучше других генераторов музыки, таких как Mubert и Beatbot, поскольку генерирует музыку лучшего качества и быстрее. Он добавил, что при создании Cassette AI он хочет соблюсти этические границы музыкальной индустрии.
«Мы хотим, чтобы люди воспринимали ИИ как инструмент для создания музыки, а не как замену творцов. Калькуляторы не заменили математиков, они просто упростили вычисления. Мы хотим сделать производство музыки доступным для всех и для любого случая использования», — сказал он.
Эти инструменты в основном предназначены для творческих людей, которые могут использовать музыку, не защищенную авторским правом, в своих видеороликах или подкастах. Разработчики также надеются, что музыканты заметят их инструменты и включат их в свой процесс создания сэмплов или песен.
Помимо инди-разработчиков, проблемой превращения текста в музыку занимаются и крупные технологические компании. Компания Google представила свой инструмент MusicLM на конференции разработчиков Google I/O в мае. В июне компания Meta* выложила в открытый доступ свой собственный генератор музыки на основе искусственного интеллекта под названием MusicGen.
Несмотря на то, что качество генерируемых композиций улучшается, существуют опасения по поводу обучающих данных, которые используются для создания музыки. Чтобы избежать юридических проблем, компания OpenAI сделала свою модель Jukebox частично открытой и запретила пользователям создавать музыку для коммерческого использования. В то же время есть музыканты, ориентированные на ИИ, такие как Граймс, которая в апреле предложила поклонникам создавать песни с ее голосом и делить с ней авторские отчисления.