На пресс-конференции CEO компании Джон Ханке рассказал про Real World Platform, движок, на котором работают Ingress, Pokémon Go и будущий Harry Potter: Wizards Unite. Он с коллегами объяснил, что Real World использует сочетание компьютерного зрения, определения глубины и распознавания объектов в реальном времени. Все эти техники компания развивала в течение многих лет, наряду с картографией, геолокацией и социальными функциями, которые также лежат в основе Pokémon Go.
Для дальнейшего развития AR-технологий и своей платформы, Niantic приобрела лондонский стартап, занимающийся компьютерным зрением и машинным обучением Matrix Mill, члены которого сформировали первый лондонский офис Niantic. Приобретение Matrix Mill поможет Niantic в развитии «социального» опыта в области AR, оно подкрепляет февральскую покупку компании Escher Reality, которая теперь помогает Niantic разрабатывать кроссплатформенный совместный AR-опыт, который может работать для нескольких людей в одном и том же интерактивном цифровом пространстве.
В серии демок Niantic продемонстрировала некоторые новые и экспериментальные возможности своей Real World Platform, реализованные с помощью технологий Matrix Mill и Escher Reality.
Одна из них — новая визуальная AR-техника, которую Niantic называет окклюзией (окклюзия в компьютерной графике это ситуация, в которой два объекта расположены приблизительно на одной линии и один объект, расположенный ближе к виртуальной камере, частично или полностью закрывает видимость другого объекта). Новая технология позволяет виртуальным существам, таким как Пикачу, более реалистично присутствовать в реальных средах. Это предполагает использование методов машинного обучения для тренировки нейронной сети, которая может надежно и в реальном времени анализировать живую сцену с динамическими предметами, чтобы люди и объекты перекрывали виртуальные существа и прятали их от взгляда пользователя при необходимости.
В другом примере Niantic продемонстрировала, как с помощью талантов и технологий Escher можно разрабатывать приложения, которые позволяют нескольким людям взаимодействовать в общей AR-среде, независимо от того, какое устройство они используют. Для этого в Niantic разработали собственную технологию сетевого взаимодействия с низкой задержкой, которая устраняет необходимость обращаться к серверу для установления соединения с близлежащими пользователями. Сеть устройств позволяет каждому напрямую связываться с другим устройством через ячейку сотовой сети, что позволяет уменьшить задержки и взаимодействии с другими игроками. Компания сделала демо-игру Neon, чтобы показать эту технику:
Хэнке говорит, что в будущем хочет, чтобы Real World Platform работала так же, как Amazon Web Services для облачных вычислений. Другими словами, разработчики приложений смогут использовать возможности платформы из любой точки мира для разработки собственных приложений и сервисов на основе AR-технологий и инструментов. Niantic планирует опубликовать больше информации о Real Word Platform и возможностях API в ближайшие месяцы.
Уже запущен веб-сайт, на котором разработчики могут получить дополнительную информацию о платформе и подать заявку на получение доступа к ней: https://nianticlabs.com/developers.