$7 млн: Speech Graphics — audio-driven анимация лиц

Компания Speech Graphics привлекла 7 миллионов долларов на разработку технологии анимации лица на основе аудио. Это позволяет анимированным персонажам в играх и других приложениях в режиме реального времени правильно двигать ртом при произнесении слов.

Компания Speech Graphics из Шотландии расширяется в ответ на возросший спрос на соответствующих виртуальных помощников, которые могут предложить последовательный, гуманизированный опыт, сказал Грегор Хофер, генеральный директор Speech Graphics, в интервью GamesBeat.

Интерпретируя эмоциональные нюансы в голосовых выступлениях для создания подробной модели мышечных систем, участвующих в речи, технологии Speech Graphics позволяют производителям видеоигр экономить значительное время, деньги и усилия, достигая при этом превосходных результатов. А теперь компания выходит и на другие рынки.

Ускоренный рост компании привел к тому, что она расширяет свое корпоративное видение, создавая новый корпоративный бренд — Rapport. Speech Graphics имеет 20-летний опыт исследований в области лингвистики, биомеханики, психологии, машинного обучения и компьютерной графики.

В течение последнего десятилетия в Speech Graphics работали над технологией, автоматизирующей процессы создания высококачественной лицевой анимации. По словам Хофера, Speech Graphics была основана на идее привнести в видеоигры реалистичную лицевую анимацию с использованием патентованной технологии. Теперь компания продвигается на рынок искусственного интеллекта и использует бренд Rapport, чтобы выйти за рамки игр для audio-driven лицевой анимации.

Компания Rapport разработала платформу, позволяющую клиентам создавать персональные взаимодействия с цифровыми аватарами в любом месте — в Интернете, в игровых движках или в приложениях. Платформа обеспечивает доступ к технологии аватаров Speech Graphics в реальном времени, а также потоковую передачу с малой задержкой, анимацию в реальном времени в браузере без необходимости использования плагинов и эмоциональный ИИ, который интерпретирует голос пользователя и реагирует соответствующим образом — все это интегрировано с высоко масштабируемой внутренней инфраструктурой плагинов, которая легко подключает сторонние технологии, включая разговорный искусственный интеллект, распознавание и синтез речи.

Среди других особенности есть возможность интегрировать говорящего аватара в любой веб-сайт, используя всего несколько строк JavaScript. Разработчики могут получить доступ к искусственному интеллекту, преобразованию текста в речь и автоматическому распознаванию речи для определенных вертикалей. И они могут масштабировать технологию для миллионов пользователей, используя запатентованную технологию рендеринга в браузере и гибкий бэкенд. Разработчики также могут анимировать бесконечное количество различных аватаров, от фотореалистичных людей до стилизованных персонажей и антропоморфных животных.

«Мы разработали технологию, которая анализирует речь, а затем воспроизводит соответствующие выражения лица цифрового персонажа», — сказал Хофер. Первой игрой, в которой она использовалась, была игра Monolith’s Middle-earth: Shadow of Mordor, где лица орков-воинов и движения рта соответствовали словам, которые они произносили. Диалог и анимация орков менялись в зависимости от того, подчиняли ли вы их, убивали или разговаривали. Количество диалогов было огромным. «Мы смогли анимировать тысячи строк аудио без необходимости делать анимацию вручную», — сказал Хофер. «Раньше вам приходилось использовать захват движения и создавать каждый кадр вручную. Используя audio-driven подход, вы можете сделать гораздо больше диалогов в игре».

Speech Graphics привлекла свой первый раунд финансирования в 2018 году на 3 миллиона долларов. Sands Capital возглавил раунд, который пойдет на найм дополнительных сотрудников, налаживание партнерских отношений и расширение доступных продуктов и услуг для удовлетворения целого ряда потребностей предприятий в розничной торговле, здравоохранении, банковском деле, путешествиях и других отраслях.