Ученые используют Grand Theft Auto для тренировки автопилота

В преддверии Европейской конференции по компьютерному зрению, которая должна  пройти в следующем месяце, группа исследователей опубликовала доклад с подробным описанием того, как игры с открытым миром, вроде Grand Theft Auto V, помогают идентифицировать объекты в реальном мире.

В этом захватывающем отчете говорится, что современные открытые игры достаточно реалистичны для тренировки систем компьютерного зрения в распознавании таких вещей, как, например, столбы, пешеходы и тротуары.

И это намного упрощает сами тренировки, так как распознавать объекты в игре конечно намного проще, чем реальном мире.

«Использование приобретенных в компьютерной игре навыков позволяет значительно повысить точность и уменьшить ручное вмешательство», — говорится в докладе. «Модель, натренированная на игровых и 1/3 реальных данных обгоняет ту, что тренировалась только на реальных».

Под реальными данными тут понимается видео из маркированной базы данных, в которой содержится съемка реального мира с семантическими метками для объектов в ней, говорящих машине о том, что перед ней находится (почтовый ящик или дорожный знак, например). Фактически это просмотренное и размеченное человеком видео. Находка ученых состоит в том, что данные игры не надо размечать, объекты из нее можно вычленить автоматически.

«Несмотря на то, что исходные коды и внутреннее функционирование коммерческих игр недоступно, мы можем размечать объекты на основе коммуникаций между игрой и графической картой», — говорят исследователи. «Это позволяет нам быстро навешивать семантические метки внутри изображений из игры, даже не имея доступа с исходному коду».

Полностью отчет вы можете найти тут: http://download.visinf.tu-darmstadt.de/data/from_games/.