Snap пускает сторонние ML-модели в свои Линзы

За последние годы, растущая коллекция Линз Snapchat стала одним из лучших примеров применения дополненной реальности на смартфонах. Теперь Snap позволяет создателям использовать в Lenses собственные модели машинного обучения и надеется, что эта инициатива вдохновит новые партнерские отношения между ML-разработчиками и творцами.

Ключевое изменение — это обновление Lens Studio, бесплатного приложения для создания AR-фильтров Snapchat. Новая функция SnapML позволит разработчикам импортировать собственные модели машинного обучения в Линзы и тем самым расширит диапазон объектов реального мира и частей тела, которые Snapchat сможет мгновенно идентифицировать.

В качестве примера технологии приводится новая ML-модель для трекинга ног, разработанная Wannaby — она позволит разработчикам создавать Линзы для ног. Помимо Wannaby, среди первых разработчиков есть CV2020, Prisma и несколько других компаний.

Эйтан Пилипски из Snap говорит, что компания будет «помогать художникам и связывать их с разработчиками, чтобы они могли вместе создавать новый опыт». Так каждый сможет заниматься своим делом — разработчики делать модели, а маркетологи и криэйторы создавать на их основе интересные эффекты.

В Lens Studio также добавили новые шаблоны для жестов рук, а также Face Landmarks и Face Expressions, которые должны улучшить отслеживание лица в определенных ситуациях.

Кроме того, Snapchat расширяет функцию Scan, позволяя распознавать 90% всех известных растений и деревьев, около 400 пород собак, этикетки продуктов питания и логотип Louis Vuitton, а также приложение интегрируется с SoundHound, чтобы пользователи могли находить соответствующие линзы, используя только голосовые команды.

Snap также анонсирует новую функцию Local Lenses, которая «скоро» позволит пользователям обмениваться контентом с дополненной реальностью в определенных точках. Местные линзы обещают превратить в крупномасштабные облака точек для распознавания зданий в пределах данных областей. В отличие от конкурентов, которые сосредоточены в основном на картографических и маркетинговых приложениях, Snap планирует позволить пользователям изменять внешний вид кварталов с помощью цифровых технологий.