Google выпустил для Android открытый Project Gameface — это игровая «мышь», которой можно управлять без рук, наклонами головы и строя рожицы.
Разработчики теперь могут интегрировать функцию доступности в свои приложения, позволяя управлять курсором с помощью гримас или движением головы. Например, пользователь может открыть рот, чтобы переместить курсор, или поднять брови, чтобы нажать и перетащить мышь.
Анонсированный во время прошлогодней Google I/O для настольных компьютеров, Project Gameface использует камеру устройства и базу данных выражений лица из MediaPipe Face Landmarks Detection API для манипулирования курсором. В API есть 52 лицевых “жеста”, таких как поднятие левой брови или открытие рта.
«Через камеру устройства можно беспрепятственно отслеживает мимику и движения головы, преобразуя их в интуитивное и персонализированное управление», — объясняет Google в своем анонсе. «Теперь разработчики могут создавать приложения, в которых пользователи смогут управлять движениями курсора с помощью настраиваемых выражений лица».
Хотя Gameface изначально создавался для геймеров, Google заявляет, что сотрудничает с Incluzza — социальным предприятием в Индии, занимающимся вопросами доступности, — чтобы узнать, как можно расширить его возможности для других сфер, таких как работа, школа и социальные ситуации.