Алексей Рыбаков (DataArt): Мобильная виртуальная реальность

Алексей Рыбаков, Senior Engineer и евангелист компании DataArt, на конференции «Стачка» уже в эту пятницу будет рассказывать про мобильную виртуальную реальность. Мы решили поговорить с ним и выяснить, как развивается эта область.

Можете рассказать подробнее о развитие мобильного VR?

Под мобильным VR мы сейчас понимаем тот VR, который запускается на мобильном устройстве. Он начался с девайса, который называют Google Cardboard — коробки из картона, которую можно было собрать самому. К этой коробке шла инструкция и небольшие линзы — всё это составляло одну часть мобильного VR. Вторая часть мобильного VR — сам телефон, на котором запускалось специальное программное обеспечение, которое делило экран пополам и для каждого глаза выводило свое изображение.

У всех VR шлемов, которые когда-либо существовали, начиная с 70-ых и заканчивая сегодняшним днем, есть три главных параметра. Первый, так называемый FOV (Field of view).

FOV — это угловое пространство, видимое глазом при фиксированном взгляде и неподвижной голове. У Google Cardboard угол обзора 90 градусов. Для сравнения: у человека периферийное зрение достигает 180 градусов.

Второй параметр — скорость, с которой воспроизводится каждый кадр. Другими словами — FPS (Frames per Second). Чем выше FPS, тем лучше картинка.

Третий параметр — resolution. Resolution — это разрешение экрана, которое нужно делить на два, потому что на каждый глаз выводится своя картинка.

Первое поколение Google Cardboard показали в 2014 году на Google I/O. Его позиционировали как исследовательское устройство. Google выпустил небольшой SDK, который позволял программистам очень быстро собирать приложения с двумя изображениями вместо одного. Этот SDK учитывает FOV и определенным образом подставляет искажения для левого и правого глаза, образуя 3D изображение. Этот SDK выходил не только на платформах Android, но и на платформе iOS.

Идею Cardboard’ов поддержало очень большое количество компаний производителей. Было выпущено огромное количество улучшенных моделей в пластиковых корпусах, разной степени сложности и разной стоимости. Самым дорогим из Cardboard’ов нулевого поколения был — Carl Zeiss (немецкая компания, специализирующаяся в области оптики).

Никаких пультов управления и специальных контроллеров при использовании «картонных коробок» не было — вы лишь надевали очки на голову, и при необходимости воздействия с внутренним миром виртуальной реальности наводили точку на тот объект, с которым вы хотели взаимодействовать. При истечении 5-ти секунд действие считалось завершенным. В качестве дополнительных девайсов многие стали подключать к устройствам Android беспроводные джойстики, как это было и есть в Xbox и Sony Playstation.

Следующим поколением были Samsung VR by Oculus Rift.

Джон Кармак и Майкл Абраш, которые известны такими играми как Quake и Doom, были приглашены в компанию Oculus Rift для создания шлема нового поколения. В 2014 году они создали несколько прототипов, компанию купил Facebook за 2 млрд долларов и в дальнейшем к ним присоединился Samsung.

Samsung совместно с Oculus выпустили Samsung Gear VR Powered By Oculus, который был совместим только с телефонами Samsung определённого поколения (s5, s5 edge, edge 6, edge 7). Инновационность Samsung Gear VR Powered By Oculus была в том, что телефон можно было подключить к самому шлему а не вставлять устройство в очки, как это было в шлемах раннего поколения. Сам шлем обладал дополнительной электроникой. Была добавлена сенсорная панель которая позволяла взаимодействовать с виртуальным миром (можно нажимать на кнопки, двигать влево-вправо и т.д.) Своего рода, это как тачпад на ноутбуках. На верхней панели шлема располагалось «колесико» , при помощи которого можно было отрегулировать линзы и фокусное расстояние под себя. Одной из главных «фишек» было внедрение акселерометра для более четкого отслеживания движений головы, что делало движение более четким и правдоподобным.

Разрешение у Samsung VR by Oculus Rift было 2500х1440, в то время как разрешение у Google Cardboard было в полтора раза меньше. Все современные не мобильные шлемы, которые подключаются к PC, например Oculus, HTC Vive или PS VR имеют разрешение 2500х1080. У телефонов Samsung на тот момент разрешение было 2500х1440, что по высоте больше, качество картинки лучше и есть лишь разница в герцах.

Samsung Gear VR Powered By Oculus продавался за $100 и так же был совместим с определенными моделями Samsung. На январь 2017 было продано около 5 млн моделей по всему миру.

Следующим витком в области технологий мобильного VR стал кейс для смартфона — Google Daydream View VR, совместимый с операционной системой Android , начиная от 7.0.

Кейс устроен по образцу Samsung Gear VR — телефон вставляется в специальный отсек, фиксируется на месте защелкой и исполняет роль экрана. Устройство имело разъем Bluetooth и при подключении, телефон переключался в режим VR. Самый главный аспект Google Daydream View VR — это пульт управления с встроенным акселерометром и сенсорной панелью управления. Фактически, он воспринимается как указка, к которой привыкаешь уже через пару минут, настолько он точный.

Компания Xaomi выпустила устройство, как у Google, но без участия самого Google т.к операционная система Android в Китае представлена не в полном объеме. В связи с этим приложение Daydream в Китае просто не запускалось.

Xaomi выпустила точно такие же очки и приложение похожее на DayDream.

Для того, чтобы получить SDK от Xaomi нужно зарегистрироваться на их сайте как разработчик и пройти, достаточно, большой опросник. Таким образом можно понять, сможете ли вы получить доступ к их SDK и разрабатывать приложения под их шлем.

В этом году, Samsung, совместно в телефоном Samsung S8, анонсировал новый Samsung Gear VR Powered By Oculus 2017 с улучшенными линзами.

Все те, кто успели сделать предзаказ Samsung S8 в подарок получат этот шлем, который также имеет пульты управления, как Google Daydream и Xaomi Mi VR.

Какие приложения являются лидерами рынка? На кого можно посмотреть начинающим как на ориентиры?

Львиная доля приложений — это видео 360, фото 360. За 2016 год было просмотрено более 10 млн часов видео 360 на Samsung Gear VR. У Daydream сейчас очень популярно два приложения: Need For Speed, которое стоит в районе $25 и бесплатное приложение «Фантастические твари и где они обитают» по одноименному фильму, где просто невероятный эффект погружения.

В чем разница разных платформ мобильного VR?

Мобильный VR состоит из двух составляющих. Первая — это шлем, который состоит из линз и возможности регулировки фокусного расстояния, как на Samsung VR by Oculus Rift, и от этого параметра — FOV. Сейчас у всех шлемов идёт стандарт — 101 градус. У Cardboad это было 90 градусов, у китайских подделок 75.

Вторая составляющая — телефон, который вставляется в сам шлем. И Google и Samsung сейчас говорят, что совместимое VR устройство это телефон с разрешением 2500х1440, который смело может показывать 60 кадров в секунду, который обладает насыщенной цветовой гаммой и мощной батареей.

Xaomi говорят, что будут делать всё тоже самое, но на телефонах с Full HD разрешением, где качество картинки гораздо хуже.

Для мобильного VR, фактически, одна платформа — это Android. Для Samsung есть свое SDK, для DayDream и Cardboard — свое SDK. Xaomi использует SDK Google для отрисовки, а для подключения они используют свое SDK, но по нему сейчас очень мало информации.

Какие технологии используются при разработке приложений?

Тут есть много вариантов, но основные Google SDK, либо Oculus SDK. Естественно Unity 3D, на которой сделана большая часть мобильных игр в 3D. Они в этом плане большие молодцы и используют много новых девайсов, которые сейчас появляются. Подключают к своей среде разработки новые устройства.

Unreal Engine — это движок от Epic Games и используется для сложных игр на Playstation и всего остального. Но они точно так же поддерживает приложения для мобильного VR.

В 2016 году Crytek анонсировали возможность поддержки мобильных приложений, с VR в том числе.

Какие сложности есть в разработке?

Прежде всего это скорость работы программного обеспечения, скорость обновления картинки. Если FPS будет очень маленьким, если оно будет мерцать, например, было 20 FPS,а стало 15 FPS, то у человека появляется дискомфорт. Необходимо минимум 30 FPS для каждого глаза.

Google и Samsung заявляли что у них, минимальное FPS 60, не меньше. Чем больше FPS, тем комфортнее себя чувствует человек.

Проблема в том, что у VR игры огромное количество графики — это большая нагрузка на память приложения, на его процессы. Это все нужно хорошо профилировать, выбирать правильные параметры для количества полигонов и делать это гораздо сложнее, чем для обычной 3D игры.

Присутствует проблема управления. Последние поколения, которые выходили в 2016-17 гг. уже имеют дополнительные джойстики где можно управлять переключениями и своим поведением в игре. До этого управление осуществлялось тем вариантом, о котором я рассказывал ранее — вы долго смотрите на объект, как бы прицеливаясь на него, после чего происходит взаимодействие.

Одна из самых главных проблем — инертное мышление. Не многие mobile программисты занималась программированием VR. Некоторые тащат туда свои старые подходы к разработке игр, которые совершенно не подходят к VR.

VR игры и VR приложения — это абсолютно другой дизайн и user experience. Абсолютно другое время работы приложения, потому что если обычное Android приложение, допустим, Angry Birds или любая другая игра, где нужно «клацать» по клавишам отнимет у вас час времени, максимум, то с VR приложениями, абсолютно другая ситуация. Если приложение построено хорошо, то ты полностью в него погружаешься и уже оттуда не выходишь. У меня ситуация доходила до того, что мой телефон просто нагревался, когда я находился в виртуальном мире третий час подряд.

Нужно учитывать, что если человек погружается настолько в игру, то нужно заранее позаботится о его комфорте за долгим прибываем в VR. Так же нужно делать приложения таким образом, чтобы при повышенном использовании ресурсов (графика, память и т.д.) само приложение потребяло как можно меньше энергии.

Это психологическая проблема, о которой многие разработчики не задумываются. Многие на это просто не обращают внимания.

Что сейчас на рынке пользуется наибольшим спросом, а что будет востребовано в след 5 лет?

Опять же это видео 360, фото 360 и это игры 3D, с одной стороны. С другой стороны очень большой популярностью пользуются приложения, которые представляют из себя виртуальные путешествия. Когда надеваешь очки и оказываешься, например, в Коста-Рике. Либо есть специальное приложение и специальная партнерская программа от Google для музеев. Многие музеи обратились к Google за возможностью устраивать виртуальные прогулки и просматривать экспонаты, например, в Лувре.

Netflix имеет специальное приложение, где есть возможность просматривать видео на всех платформах VR, которые сейчас существуют. Фактически, вы надеваете очки и перед вами огромный 60-дюймовый экран, который находится в небольшом расстоянии от вас, и создается эффект присутствия в IMAX.

Следующие 5 лет будет востребовано опять-таки видео 360. Сейчас снимается несколько фильмов на Netflix, где они экспериментирует с таким форматом видео с полным погружением в картинку фильма. Возможно, будут внедрены какие-то интерактивные вещи с взаимодействием и кино будет разрабатываться таким способом.

Как сейчас монетизируются приложения?

Монетизация ровно такая же, как и на обычных Android платформах. Все, что работает на Android платформах, так же хорошо работает и в VR без каких-либо проблем.

Каков объем рынка VR-приложений и игр?

На данный момент, по статистике Google, было загружено 25 млн VR приложений. По оценкам разных компаний к 2020 году весь рынок VR как мобильного, так и не мобильного, будет составлять 120 млрд долларов. Часть этого будет Hardware, часть стоимость приложения, и естественно, часть из этого будет контент. Под контентом я имею ввиду видео, фото и какие-то игровые приложения.

Рынок виртуальной реальности в России составил 1.5 млрд рублей