LegoGPT — ИИ-модель для сборки моделей Lego

LegoGPT — это ИИ-модель, которая создает физически устойчивые конструкции Lego на основе текстовых подсказок. Она не только разрабатывает модели Lego, соответствующие текстовым описаниям, но и гарантирует, что их можно собрать кирпичик за кирпичиком в реальном мире, как вручную, так и с помощью роботов.

О LegoGPT, разработанной в Университете Карнеги-Меллона, рассказывается в статье под названием «Создание физически стабильных и пригодных для сборки конструкций Lego из текста». В ней авторы под руководством Авы Пун объясняют, что, хотя многие существующие модели 3D-генерации ориентированы на создание разнообразных объектов с детальной геометрией, такие конструкции зачастую невозможно физически собрать: «Без надлежащей поддержки части конструкции могут разрушиться, поплыть или остаться несоединенными».

В отличие от них сгенерированные ИИ конструкции LEGO физически устойчивы и поддаются сборке.

Для создания LegoGPT команда из Карнеги-Меллона использовала технологию, лежащую в основе больших языковых моделей (LLM), подобных тем, на которых работает ChatGPT, для «предсказания следующего кирпича» вместо предсказания следующего слова. Для этого команда доработала LLaMA-3.2-1B-Instruct, языковую модель следования инструкциям от Meta*.

Затем команда дополнила модель предсказания блоков отдельным программным инструментом, который может проверять физическую устойчивость с помощью математических моделей, имитирующих гравитацию и структурные силы.

Чтобы обучить модель, команда собрала новый набор данных StableText2Lego, содержащий более 47,000 устойчивых конструкций Lego в паре с описательными подписями, сгенерированными отдельной моделью ИИ, GPT-4o от OpenAI. Каждая конструкция подвергалась физическому анализу, чтобы убедиться, что ее можно построить в реальном мире.

В статье сообщается, что LegoGPT создает стабильные, разнообразные и эстетически приятные LEGO-конструкции, которые точно соответствуют введенным текстовым подсказкам, и что наши конструкции могут быть собраны вручную человеком или автоматически роботами.

Проект находится в открытом доступе на GitHub, а на Hugging Face есть демо-версия, если вы хотите попробовать его в деле.