Будущее общения: смешанная, а не виртуальная реальность

Почему будущее дистанционного общения не за VR-системами, а за смешанной реальностью? Своим видением коммуникационных систем будущего поделился AR-эксперт Марк Биллингхерст.

Летом 1995 мне повезло поучаствовать в удивительном событии, которые изменило мою жизнь навсегда. Я надел шлем виртуальной реальности в университете Вашингтона и переместился из Сиэтла в маленькую чайную комнату в Японии. Я мог поговорить с другими людьми в комнате, повернуться к ним своим виртуальным лицом и помахать им своей виртуальной рукой. Это был проект Greenspace, и это было первым опытом создания общего виртуального мира.

В то время оборудование стоило больше миллиона долларов, а счет за связь превысил десятки тысяч долларов. Двадцать лет спустя проведение VR-конференций становится все более распространенным. Совместные виртуальный пространства разрабатывают High Fidelity, Sansar и Facebook. Altspace VR регулярно пользуются более 30 тысяч людей в месяц, а совместные VR-приложения, вроде Rec Room и Big Screen, набирают популярность.

Одно из самых больших преимуществ VR-конференций заключается в том, что они позволяют людям использовать некоторые коммуникационные сигналы, которые они используют при личном общении. Они могут не только разговаривать друг с другом — у них есть виртуальные тела, которые позволяют им поворачиваться друг к другу, пожимать руки и использовать широкий ряд невербальных жестов. В конце концов, они могут взаимодействовать с виртуальной средой вокруг них, показывая на объекты или играя в игры вместе. В Rec Room пользователи могут играть в теннис, а в Facebook Spaces создавать совместные 3D-эскизы. Всё это позволяет достигнуть большей степени социального присутствия, чем в традиционной аудио- или видеоконференции.

Совместная смешанная реальность — это следующий телефон?

У VR-конференций большой потенциал, и компании инвестируют десятки миллионов долларов в создание соответствующих платформ. Но конференции в смешанной реальности (MR) могут иметь даже большее влияние из-за своей связи с реальным миром.

Смешанная реальность определяется как технология, которая смешивает реальный и виртуальный миры. VR отделяет людей от реального мира, а MR пытается расширить взаимодействия реального мира или добавить элементы окружающего мира в среду VR.

Преимущества использования смешанной реальности для удаленного взаимодействия:

• люди могут получать помощь в выполнении задач реального мира от удаленных пользователей;
• виртуальные люди будут помещены в реальное пространство;
• поддержка перехода от совместного AR к VR;
• использование MR-изображений для расширения сигналов удаленной коммуникации;
• предоставление пользователям возможности делиться своей точкой зрения и видеть всё взглядом другого человека;
• налаживание связи между пространством задачи и пространством общения;
• поддержка естественных пространственных сигналов для удаленной коммуникации.

Возможно, самое большое преимущество MR-конференций — это их фокус на совместном взгляде на рабочее пространство. Для многих задач реального мира, например, удаленного техобслуживания, гораздо важнее увидеть то, над чем работает человек, а не его лицо. Эту возможность можно применить во множестве областей, от удаленного ассистирования до медицинской поддержки в операционной или совместных игр.

Первые системы MR-коллаборации

Почти двадцать лет назад я помогал разрабатывать одну из первых MR-систем. Это было приложение для AR-конференций, которое помещало виртуальные аватары людей в реальную среду пользователей. Они могли переворачивать карточки с именами, и эти люди появлялись перед ними. Всё это происходило при помощи шлема виртуальной реальности. Главным преимуществом системы было то, что она переместила конференции с экрана компьютера в реальный мир. Мы обнаружили, что видеоаватар собеседника в реальной среде обеспечивал большую степень социального присутствия, чем его изображение на экране компьютера.

AR-конференция 1998 года

Я особенно запомнил одно исследование, в котором мы сравнивали AR-конференции с видеоконференциями на компьютере. Один человек, использующий систему видеоконференции, сильно приближался к монитору, предполагая, что так собеседник услышит его лучше. Но когда он использовал AR-систему, он сразу отодвинулся назад, давая собеседнику личное пространство, как и в реальном разговоре. Это подсознательное действие показало, насколько социальное присутствие повышается при использовании AR-приложения.

Примерно в то же время мы показали возможность использования пространственных сигналов при разработке WearCom. Она представляла собой носимую AR-систему, которая позволяла виртуальным людям появляться вокруг человека, который использовал небольшой компьютер и носил на голове экран. В этом случае мы применяли пространственную ориентацию аудио для того, чтобы голоса людей шли от их виртуальных аватаров. Мы обнаружили, что, как и в личном разговоре в большой толпе людей, люди легко могли разделить речь разных людей, даже когда они говорили практически одновременно.

Хотя это исследование было многообещающим, проблема заключалась в том, что видеоаватары людей были плоскими прямоугольниками. Если вы смотрели на них с другой стороны, они исчезали, что точно не происходит с трехмерными людьми. Эта проблема была решена пару лет спустя с помощью 3D Live System, где мы использовали несколько камер для записи людей. Это создавало иллюзию, что настоящий человек стоит в вашем реальном пространстве. Виртуальную копию человека можно было показывать в VR и в AR-среде. Это позволило пользователям использовать движения и жесты, как и в разговоре лицом к лицу.

3D Live, 2002 год

Термин “смешанная реальность” описывает пространство от технологий интерфейса реального мира до полностью виртуальной среды. Многие системы коллаборации существуют в конкретных точках этого пространства, например, общение лицом к лицу в реальном мире или конференции в виртуальном пространстве. MR-конференции предоставляют людям возможность перемещаться по MR-пространству. Например, проект MagicBook — это интерфейс, который поддерживал общение лицом к лицу, AR или VR-вид, а также смесь этих видов. Используя эту систему, люди могли читать книгу и смотреть на страницы через дисплей, при этом на экране появлялся AR-контент. Когда пользователь видел интересную AR-сцену, он мог переключиться на полноценный VR-опыт. В этой VR-сцене один из людей мог видеть собеседника из реального мира как гигантскую голову, парящую в небе. Так MagicBook поддерживал бесшовные переходы между реальным миром, AR и VR.

Эти прототипы показали, что технологию MR можно использовать для встраивания виртуальных собеседников в реальную среду пользователя. В отличие от VR-конференций, MR-интерфейс расширяет общение в реальном мире и позволяет пользователям получать помощь с любыми заданиями.

Текущее состояние MR-конференций

Развитие нового поколения AR и VR-дисплеев привело к созданию новых MR-систем. Microsoft представил MR-версию Skype при помощи своего шлема HoloLens. Пользователь может поместить окно Skype в любое место в пространстве и увидеть видео от собеседника. В то же время камера HoloLens может передавать видео удаленному пользователю, и они могут увидеть окружение собеседника и добавить в него AR-аннотации для помощи с выполнением задач. Удаленный пользователь при этом видит окружающую действительность глазами пользователя HoloLens.

Как и приложения для AR-конференций двадцатилетней давности, Skype для HoloLens помещает видео в виртуальный прямоугольник. Проект Microsoft Holoportation решает эту проблему, используя камеру глубины для записи и трансляции трехмерной виртуальной модели удаленного пользователя в реальный мир. В сочетании с HoloLens локальный пользователь может видеть копию удаленного пользователя в реальном мире.

В этой области существует также большое количество начинающих стартапов. Mimesys позиционируют себя как первую голографическую платформу для общения, которая может записывать образ людей и помещать их вместе в виртуальное пространство. Holoportal DoubleMe предоставляет облегченную версию Holoportation для общения. Обе компании фокусируются на сборе данных о людях, а Envisage AR захватывает окружение пользователя и делится им с удаленными собеседниками. В следующие несколько лет мы увидим намного больше активности в этой сфере.

Эти системы показывают, что опыт MR-конференций можно создать на существующих AR и VR-коммерческих платформах.

Что дальше?

Существует ряд разработок, который продолжит совершенствовать MR-конференции и позволит людям общаться эффективнее, чем раньше. В частности, сейчас существует три важных тренда:

• Естественное общение: С ростом скорости связи становится возможно расширить опыт коммуникации (не только аудиосигналы, но и жесты), что приведет к более естественному общению.
• Запись опыта: Развивается технология, которая позволит людям захватывать свое окружение и опыт, то есть происходит переход от фотографии к записи трехмерных сцен.
• Скрытое понимание: Компьютеры начнут больше понимать о пользователях и их окружении. Это позволит им понимать скрытое поведение, например, направление взгляда человека.

Все эти тренды объединяются в направление, которое стремится к созданию систем, позволяющих нам делиться тем, что мы видим, слышим и чувствуем. В отличие от традиционных инструментов общения, эмпатические системы созданы, чтобы позволить вам более глубоко понимать точку зрения собеседника, видеть его глазами, слышать то, что слышат он.

Примером такого типа взаимодействия являются наши Empathy Glasses. Это AR-дисплей, который может распознавать выражение лица и отслеживать направление взгляда. Удаленный собеседник видит не только окружающую обстановку, но и выражение лица и информацию о направлении взгляда человека в очках. Это одна из первых систем, которая делится информацией о направлении взгляда, и это только начало изучения эмпатической технологии удаленного общения.

Прощай, телефон…

Через двадцать лет использование мобильного телефона для общения с друзьями будет таким же устаревшим способом, как использование стационарного телефона сейчас. К тому времени технология смешанной реальности позволит людям видеть виртуальные копии своих друзей в реальном мире, а также видеть мир глазами друзей и помогать им в выполнении реальных задач.

Сегодняшние VR и AR-системы показывают лишь часть того, что возможно со смешанной реальностью. MR-системы могут делиться большим количеством коммуникационных сигналов и позволяют людям общаться так, как было невозможно до этого. При следующем звонке представьте, что вы можете видеть, слышать и чувствовать то, что видят, слышат и чувствуют ваши друзья.