Google представил аудиокодек Lyra на основе ИИ

Сегодня Google представил открытую бета-версию Lyra — аудиокодека, который использует машинное обучение для создания высококачественных голосовых вызовов. Код и демонстрация, доступные на GitHub, сжимают необработанный звук до 3 килобит в секунду для «качества, которое выгодно отличается от других кодеков», — говорит Google.

Архитектура Lyra разделена на две части: кодировщик и декодер. Когда кто-то разговаривает по телефону, кодировщик улавливает отличительные атрибуты, называемые функциями, из его речи. Lyra извлекает эти функции порциями по 40 миллисекунд, а затем сжимает и отправляет их по сети. Задача декодера — преобразовать функции обратно в звук, который может воспроизводиться через динамик телефона слушателя. Функции декодируются обратно в форму волны с помощью генеративной модели. Генеративные модели — это особый тип моделей машинного обучения, хорошо подходящий для воссоздания полной звуковой волны из ограниченного числа функций.

Согласно Google, архитектура Lyra похожа на традиционные аудиокодеки, которые составляют основу интернет-коммуникаций. Но хотя эти традиционные кодеки основаны на методах цифровой обработки сигналов, ключевое преимущество Lyra заключается в способности его декодера восстанавливать высококачественный сигнал.

Google считает, что существует ряд приложений, для которых Lyra может крайне подходить — от архивирования больших объемов речи и экономии заряда батареи до уменьшения перегрузки сети в чрезвычайных ситуациях.

Код Lyra написан на C++ с использованием фреймворка Bazel. Базовый API предоставляет интерфейс для кодирования и декодирования на уровне файлов и пакетов, а также предоставляется полный набор инструментов для обработки сигналов, который включает фильтры, а также преобразования. Пример кода Google интегрируется с Android NDK, чтобы показать, как Lyra может работать с приложениями Android на базе Java, и Google также предоставил весовые и векторные квантователи, необходимые для запуска Lyra.