Nvidia представляет новые модели мира для роботов

В понедельник компания Nvidia представила набор новых мировых ИИ-моделей, библиотек и другой инфраструктуры для разработчиков робототехники. Наиболее заметной из них является Cosmos Reason — «рассуждающая» модель визуального анализа с 7 миллиардами параметров для приложений физического ИИ и роботов.

К существующему набору моделей мира Cosmos также присоединилась Cosmos Transfer-2, способная ускорить генерацию синтетических данных из 3D-сцен моделирования или входных данных пространственного управления, и улучшенная версия Cosmos Transfers, более оптимизированная для скорости.

В своем анонсе на конференции SIGGRAPH в понедельник Nvidia отметила, что эти модели предназначены для создания наборов данных синтетического текста, изображений и видео для обучения роботов и агентов ИИ.

По словам Nvidia, Cosmos Reason позволяет роботам и ИИ-агентам «рассуждать» благодаря памяти и пониманию физических процессов, что дает ей возможность «служить планирующей моделью для определения следующих шагов воплощённого агента». Компания утверждает, что модель можно использовать для отбора данных, планирования действий робота и для видеоаналитики.

Компания также представила новые библиотеки нейронной реконструкции, в том числе одну для рендеринга, позволяющую разработчикам моделировать реальный мир в 3D с использованием данных датчиков. Эта возможность рендеринга также интегрируется в симулятор с открытым исходным кодом CARLA, популярную платформу для разработчиков. Также выпущено обновление для комплекта разработки программного обеспечения Omniverse.

Также появились новые серверы для рабочих процессов робототехники. Nvidia RTX Pro Blackwell Server предлагает единую архитектуру для рабочих нагрузок разработки робототехники, а Nvidia DGX Cloud — это облачная платформа управления.

Эти объявления появились на фоне того, что полупроводниковый гигант продолжает развивать робототехнику, рассматривая новые масштабные области применения своих графических процессоров для ИИ за пределами центров обработки данных.