Компания Niantic выпускает новую версию приложения Scaniverse, которое позволит пользователям снимать объекты вокруг себя с большей детализацией. Scaniverse 4 позволит пользователям снимать места и объекты в 3D с помощью техники гауссова напыления, которая захватывает больше точек данных об объекте для точного и насыщенного представления с более быстрым рендерингом.
Компания приобрела Scaniverse в 2021 году, и это одно из главных обновлений для приложения. До сих пор Scaniverse позволяло сканировать места и объекты и сохранять их на своем устройстве или делиться ими с друзьями. С новыми методами сканирования пользователи смогут размещать эти сплэты (от splats, брызги) — сканы объектов с данными о местоположении — на карте, а другие смогут открывать их, чтобы познакомиться с новыми местами с большей точностью и детализацией.
В течение последних нескольких лет Niantic пыталась создать богатую 3D-карту мира, предлагая игрокам своих игр Wayfarer, Ingress и Pokémon GO сканировать различные места и получать за это внутриигровые награды. Компания использовала некоторые из этих сканов для создания «брызг» по всему миру.
Новый процесс сканирования, доступный пока только для iOS, очень прост. В новом меню захвата вы можете выбрать опцию splats on и начать сканирование. Вам нужно перемещаться вокруг объекта, снимая его под разными углами, как будто вы снимаете видео. Как только вы закончите, приложение обработает сканирование и позволит вам поместить splat на карту, поделиться моделью или видео с другими. Niantic утверждает, что сканирование объекта в течение одной-трех минут позволяет получить качественный снимок.
Niantic заявила, что в целях обеспечения конфиденциальности при обработке всех сканов компания автоматически размывает лица и номерные знаки, которые появляются на скане. Кроме того, если во время сканирования в кадр попадает движущийся объект, он вычитается из итогового рендера.
Брайан МакКлендон, вице-президент Niantic по инженерным вопросам и соавтор Google Earth, рассказал TechCrunch, что в предыдущей версии Scaniverse компания использовала технику рендеринга под названием «треугольные сетки». Новый подход, основанный на гауссовом напылении, при использовании аналогичных данных позволяет получить детализированный рендер с улучшенным освещением и отражениями.
«У гауссового напыления есть два основных преимущества перед треугольными сетками. Они обрабатываются быстрее и значительно более реалистичны, включают такие детали, как прозрачность окон, отражения в воде и листья деревьев. Это все равно что сравнивать модель LEGO с глиняной скульптурой. LEGO может быть блочным и жестким, в то время как глина позволяет создавать плавные изгибы и более тонкие детали», — говорит МакКлендон.
Компания уже предлагает данные о местоположении в реальном мире через свою систему визуального позиционирования (VPS). С помощью новой техники сканирования она планирует предложить разработчикам более богатые данные. Компания считает, что пользователи Scaniverse, в первую очередь создатели контента XR и любители 3D-фотографии, помогут ей создать новую визуальную карту.
У Niantic уже есть сканы с гауссовыми брызгами в количестве 100 000 штук, и в ближайшем будущем компания планирует увеличить их количество до миллионов. Компания предоставит их разработчикам для использования в играх или в виртуальной реальности.
Компания также планирует интегрировать эти данные в собственные игры, где виртуальные персонажи смогут лучше взаимодействовать с реальными объектами.
Gaussian splats, гауссово напыление или гауссовы брызги — это метод визуализации и рендеринга, который используется в компьютерной графике, особенно в контексте работы с точечными облаками (point clouds) и созданием поверхностей. Он связан с представлением точек в пространстве в виде гауссовых функций или «пятен», которые имеют нормальное распределение интенсивности вокруг центральной точки.
Представьте облако точек, которое нужно визуализировать. Вместо того чтобы просто отобразить каждую точку, Gaussian splats применяет к каждой точке гауссовую функцию, создавая пятно вокруг точки с плавным уменьшением интенсивности от центра. Когда такие пятна пересекаются, их интенсивности суммируются, что дает более реалистичное представление поверхности объекта.
Этот метод особенно эффективен в ситуациях, когда необходимо создавать высококачественные визуализации из точечных данных или когда рендеринг должен быть гибким и быстрым.