По утверждению исследователей, идея научить машину действовать как визуально интеллектуальный агент, в данном случае собака, является очень сложной задачей.
В процессе обучения ученые использовали аляскинского маламута по кличке Келп. На собаке была закреплена камера GoPro и шесть инерционных измерительных датчиков (на лапах, хвосте и туловище). Датчики записывали разные виды активности, такие, как прогулка, слежка, захват, взаимодействие с другими собаками и слежение за объектами в более чем 50 локациях.
Процесс обучения нейросети проходил на базе графических процессоров NVIDIA GeForce GTX 1080, TITAN X и фреймворка глубокого обучения PyTorch, ускоренного с помощью библиотеки cuDNN.
Исследователи обучали нейросеть трем задачам: (1) Действовать как собака: цель — предсказать будущие движения собаки с учетом последовательности увиденных изображений. (2) Планировать как собака: цель – определить последовательность действий, которые перемещают собаку между локациями с учетом данной пары изображений. (3) Научиться у собаки: используется полученное представление для выполнения третьего задания (например, оценка поверхности для прогулки).
С одной стороны, у собак намного проще пространство действий, чем у людей, поэтому задача кажется выполнимой. С другой стороны собаки явно демонстрируют визуальный интеллект, распознавая еду, препятствия, людей и животных, реагируя на них. Однако их намерения часто неизвестны, — отмечают исследователи в своей работе.
Ученые отмечают, что разработанная система смогла предсказывать не только будущие действия собаки, но и планировать движения, характерные для собаки: «Наши модели могут предсказывать, как будет двигаться собака в разных сценариях (действовать как собака) и как она решает перемещаться (планировать как собака)».
В будущем команда проекта планирует собрать больше данных от разных собак, а также будет искать способ фиксировать звук, запах и тактильные ощущения животных.