Великое испытание для VR: Михаэль Абраш о будущем человеческого взаимодействия

Перевод статьи Михаэля Абраша от 24 июля 2017 года.
Перевел: H_Rush


Ведущий ученый Oculus Михаэль Абраш недавно выступил на третьей конференции Global Grand Challenges Summit в Вашингтоне, спонсируемой Национальной академией инженерных наук США, Королевской академией инженерных наук Великобритании и Академией инженерных наук Китая. Сегодня мы рады поделиться полным конспектом его беседы с VR-сообществом.

Я очень рад быть сегодня здесь, чтобы поговорить о большом испытании, стоящем перед виртуальной реальностью. Это действительно большое испытание с точки зрения временных рамок, ширины и глубины технологии и ее потенциального влияния на наш образ жизни.


VR отсылается к “Дамоклову мечу” Айвена Сазерленда 1968 года. И сейчас, спустя почти полвека, мы только лишь начали путь по долгой дороге к тому, чем VR должен в итоге стать. Сейчас идет этап, когда мы обсуждаем, чем же в итоге станет VR, поскольку уже становится ясно, насколько велико влияние его потенциала. А начать стоит с природы человеческих переживаний.

Реальность, которую мы воспринимаем, создается в нашем сознании. Она основывается на великом множестве убеждений, встроенных в наши гены и выученных нами в течение жизни, совместно с разрозненными данными, которые мы получаем через органы чувств.

Вся реальность виртуальна
Это смелое утверждение, и оно покажется весьма неочевидным, если ранее вы не задумывались о его смысле. Так что я повторю: реальность, которую мы воспринимаем, создается в нашем сознании, основываясь на крайне незавершенных данных. В основном она корректно отражает реальный мир, что не удивительно с точки зрения эволюции, но она не является буквальным отражением реальности. Это всего лишь предположение о наиболее вероятном состоянии мира, которое дается нам на основании наших знаний в каждый момент времени.

Давайте посмотрим на несколько примеров, которые иллюстрируют утверждение о том, что наше восприятие реальности на самом деле является лишь наилучшим предположением.


Видите белый квадрат под столом и черный за пределами стола?

Теперь давайте наложим маску и скроем лишнее.


Все они одного оттенка серого.


Но если один из квадратов находится в тени, и его цвет является оттенком серого, он становится белым. В свою очередь, если другой квадрат находится под ярким светом, и его цвет также является оттенком серого, он становится черным. Интенсивность – это умозаключение, основанное на контексте. Визуальная система вашего мозга автоматически делает вывод об оттенке, и вы видите черные и белые квадраты вместо серых.


Вот другой пример. Уделите минутку времени и постарайтесь определить, какой из двух столов шире, а какой длиннее, основываясь на измерении формы их 2D-проекций на экране. Предполагается, что вы повернули их и выровняли.

Готовы?



Они в точности одинаковые. Как и интенсивность в прошлом примере, размер тут является умозаключением, основанным на контексте.

Теперь давайте взглянем на несколько занимательных случаев высокоуровневых умозаключений, которые не совпадают с реальностью.



На самом деле то, что мы видим, не может быть правдой.



Несколько ключевых ориентиров на окне косвенно выражают перспективу, которая в реальности не существует. Визуальная система вашего мозга полагает, что окно, должно быть, половину оборота делает в обратную сторону. Чтобы такое предположение оказалось верным, соломинка должна вращаться прямо через окно. И это именно то, что вы видите, хотя в действительности подобного вращения не только не происходит, но оно невозможно в принципе.

Давайте посмотрим на еще один пример.



И вновь такого не может быть на самом деле.



Наша система восприятия опять делает весьма уместное предположение, что в данном случае этот объект, а особенно его грани, проявляют свойство выпуклой поверхности.

Вот действительно забавная часть – постарайтесь, чтобы грань снова не стала выпуклой.



Даже зная реальную форму объекта, очень трудно не дать ему снова перекрутиться. Хотя у некоторых людей это получается.

Наконец, мы добрались до наиболее убедительной, по моему мнению, иллюстрации того факта, что реальность, которую мы ощущаем, это всего лишь наилучшее предположение. Вначале проиграйте это видео:



Очевидно, что она произносит: “Bar, bar, bar”. Теперь давайте посмотрим другой клип:



Здесь мы отчетливо слышим ее “Far, far, far”. Тем не менее, она не произносит “Far” – это всего лишь видео показывает нам ее, произносящую “Far”. Однако на аудиодорожке записано “Bar”, в точности как на предыдущем видео. Я повторю, поскольку в это сложно поверить: она говорит “Bar”, а не “Far”. А нам кажется, как будто она произносит “Far”, потому что визуальная составляющая намекает на это.

Это может вводить в заблуждение или выглядеть уловкой, так что давайте иначе взглянем на происходящее. Звуковая дорожка, как и прежде, будет говорить “Bar”, но на этот раз на разделенном надвое экране вы увидите два лица: одно говорит “Far”, а другое – “Bar”. По ходу воспроизведения переводите взгляд с одного лица на другое и следите, как меняется звук, который вы слышите. Повторю, переводите взгляд между лицами и следите за тем, что вам слышится.



Как мне кажется, невозможно испытать эффект МакГурка и при этом не поверить в то, что ощущаемая вами реальность – это всего лишь умозаключение вашего мозга, а не буквальное отражение реального мира. В тот момент, когда вы слышали “Far”, преобразование Фурье показало бы, что на самом деле этот звук не проходил путь по комнате. Звук “Far” никогда не достигал ваших ушей. Однако на основании полученных аудио- и видеоданных ваш мозг сделал заключение, что этот звук является наиболее вероятным а данной ситуации – вот почему вы его и услышали.

Это критически важный момент для VR. Реальность, которую мы ощущаем, является предположением нашего мозга, сделанным на основании полученной от органов чувств информации, вне зависимости от ее реального источника. Так что если VR сможет предоставить корректные входные данные органам чувств, мы получим любые желаемые ощущения. И они будут казаться нам настоящими – это будут наши подлинные ощущения.

Я понял это, когда впервые стоял на грани виртуального обрыва. Я почувствовал, как сжались мои колени, и ощутил непреодолимое стремление отойти назад. Мое активное сознание знало, что на самом деле я не находился на краю пропасти, но несмотря на это моя персональная реальность утверждала, что я рискую упасть. Теперь расширьте этот опыт на телепортацию по всему миру, использование виртуальных объектов, взаимодействие с людьми, и потенциальная мощь виртуальной реальности начнет казаться очевидной.


Один пример, который лично я хочу привести, и который, как мне кажется, переплетается со многими людьми, это виртуальное рабочее пространство с полностью настраиваемыми виртуальными дисплеями, голограммами и способностью мгновенно переключаться между рабочими зонами. Другие люди могут телепортироваться к вам для общения или совместной работы. Я также могу телепортироваться в их пространства. Продуктивность моего труда значительно бы возросла, а рабочий процесс доставлял бы больше удовольствия – прямо как когда я впервые приобрел персональный компьютер.

На самом деле тут есть прямая аналогия с персональным компьютером. Более 40 лет назад видение Джозефа Карла Робнетта Ликлайдера и работа научного центра Xerox PARC по созданию ПК – особенно в стенах Лаборатории Информационных Технологий под руководством ныне покойного Боба Тейлора – привели к появлению вычислительных устройств, которыми все мы пользуемся сегодня. Это был первый большой скачок в человеко-ориентированных вычислениях.

Я верю, что VR станет вторым большим скачком. Вместо взаимодействия с цифровым миром через плоские экраны мы сможем жить в любом желаемом месте внутри цифрового пространства.

Что нужно сделать, чтобы попасть туда?
Итак, вот мой взгляд на то, как VR может изменить мир. Однако чтобы добраться до этого нового мира нам предстоит преодолеть великое множество невероятных технических преград. Давайте посмотрим, какие шаги придется сделать VR, чтобы на этом пути продолжить быть ключевой частью механизмов, с помощью которых мы работаем, играем и общаемся друг с другом.

Поскольку задача VR – побуждать нашу систему восприятия, начать стоит с чувств: зрения, слуха, осязания, обоняния, вкуса и вестибулярного аппарата. В предвидимом будущем VR не собирается реализовывать три последних чувства, но вот работы по воздействию на зрение, слух и осязание в разных масштабах ведутся уже сегодня. И для всех трех чувств есть потенциальные пути дальнейшего развития.


Для лучшего воздействия на зрение нам нужно расширить поле обзора до полного диапазона человеческого глаза, увеличить разрешение и повысить четкость до предела возможностей сетчатки. Увеличить динамический диапазон до уровней реального мира и реализовать корректную глубину резкости.

Для лучшего воздействия на слух нужно обеспечить корректную пространственную ориентацию (чтобы вы чувствовали, откуда идет звук), полное круговое распространение (как звук движется в виртуальном пространстве) и синтезирование (генерацию звуков, возникающих при моделировании физических движений и столкновений).

Работа с осязанием – особенно сложная задача. Наиболее значимая имитация осязания будет предназначена для рук, которые являются нашим основным средством взаимодействия с миром и полагаются на осязание для формирования петли обратной связи. Все что мы можем сделать сейчас – производить грубые вибрации и формы сопротивления. Когда-нибудь, возможно, появятся какие-то перчатки или экзоскелет, которые позволят нам естественным образом взаимодействовать с виртуальными объектами, но это самая настоящая проблема для исследователей.

Помимо добавления виртуальной информации в систему восприятия VR также требуется машинное восприятие, т.е. способность чувствовать, воссоздавать и понимать реальный мир. Это позволит нам безопасно передвигаться по виртуальному пространству и перенесет туда различные реальные объекты, которые к тому же могут быть перекрашены: столы, клавиатуры, фурнитуру и т.п. Более ценным опытом мог бы стать перенос в VR людей – это открыло бы доступ для настоящего телеприсутствия. Тогда вы могли бы встречаться, работать, играть и вообще заниматься чем угодно с другими пользователями по всему миру.

Я верю, что этот фактор будет самым важным в процессе популяризации VR, поскольку именно люди являются наиболее интересным объектом взаимодействия для других людей. К сожалению, мы также очень чувствительны к тонкостям других индивидов, так что подключение “виртуальных людей” является одной из самых сложных задач для VR.

Наконец, VR – это наиболее субъективно воспринимаемая технология из когда-либо созданных. Поэтому все, что лежит в ее основе, является загадкой человеческого восприятия. Ключ к VR это не сама разработанная технология, а то, как эта технология взаимодействует с системой восприятия для формирования ощущений.


Собранные вместе обширные области, в которых VR должна продвинуться, формируют гигантское поле для исследований. Оно покрывает все человеческое восприятие и полдюжины областей, отвечающих за понимание и воссоздание. Для изучения этого пространства потребуются исследования мирового уровня в самых разных сферах: от вычислительной оптики до материаловедения, сенсорной техники и многих других. Это также потребует большого количества междисциплинарной работы, потому что здесь пересекаются самые разные технологии, которые заставляют VR функционировать.

В качестве примера возьмите виртуальное рабочее пространство, которое я описал выше. Чтобы ваше пребывание там было столь же продуктивным, как и в реальной рабочей обстановке, очевидно, что вам понадобится возможность пользоваться руками как ловкими манипуляторами. И это действительно сложная задача сама по себе. Но давайте представим, что мы как-то ее решили – после чего мы столкнемся с другой проблемой: гарнитуры для ВР оснащены линзами с фиксированным двухметровым фокусом. Из-за этого все объекты, находящиеся на расстоянии метра или ближе, размываются, и долго смотреть на них становится некомфортно. А один метр – это все, что находится в пределах досягаемости ваших рук.

Если вкратце, пока мы не решим проблему глубины резкости, мы не сможем получить максимальную отдачу от задействования рук. Аналогичным образом обстоят дела и со звуком. Мы хотим, чтобы звуки были корректно ориентированы в пространстве, и чтобы их позиционирование исходило из области досягаемости наших рук – вот еще одна нерешенная задача. Мы хотим, чтобы разрешение виртуальных дисплеев было достаточно высоким, а четкость изображения максимально приближалась к реальности. Мы хотим иметь возможность ощущать и воссоздавать наш стол, клавиатуру, мышь и стул. Мы хотим иметь возможность создавать виртуальных людей. Вскоре вы поймете, что практически каждая из упомянутых мной областей исследований необходима для построения системы, которая сможет предоставить вам правильный опыт пребывания в VR.

Давайте быстро взглянем на три проблемы на пути развития VR, и начнем с дисплеев.

В фокусе: дисплеи для VR
Система отображения в современных гарнитурах обычно представляет собой простой экран, перед которым расположены увеличительные линзы. Когда вы смотрите через линзы, вы видите лишь конкретное увеличенное изображение, находящееся на определенном фокусном расстоянии.

И вопрос тут вот в чем: где нам расположить точку фокусировки?


Справа мы установили фокус VR практически на бесконечность – за пределами окна. Так что правая часть и левая часть, виртуальное и реальное изображения, выглядят довольно схожими. Конечно, есть некоторые различия, но давайте пока что просто проигнорируем их.


А тут все уже совсем иначе. В отличие от реального мира слева, когда вы смотрите на что-то вблизи в VR справа, ближайшее растение, которое должно оставаться четким, теперь становится смазанным. Так и со всеми остальными объектами, поскольку экран сфокусирован вдали, а ваш глаз сфокусирован вблизи.

Так что нам нужен лучший способ фокусировки гарнитур.

У меня нет времени все научно обосновывать, но я могу хотя бы визуально продемонстрировать вам часть потенциальных решений, которые были предложены за последние несколько десятилетий.

Давайте рассмотрим простую сцену из трехмерной игры.



В оптометрических единицах фокус увеличится с четырех диоптрий – 25 сантиметров спереди машины – до нуля диоптрий – оптической бесконечности.

Еще раз повторю, чтобы вы поняли. Сегодняшние VR-гарнитуры обладают постоянным фокусом на дистанции примерно в половину диоптрии.



Очевидно, что очень близкие объекты окажутся очень далеко от фокальной плоскости. Следовательно, они будут размыты.

Один из вариантов решения этой проблемы, который предлагали многие люди, это просто сделать более одной фокальной плоскости. Они будут отображаться либо одновременно, либо поочередно, но очень быстро сменяя друг друга.



Изучающие восприятие ученые скажут вам, что эти слои не следует располагать слишком далеко друг от друга, иначе объекты между ними начнут размываться. А при попытке создать такое количество плоскостей, чтобы все объекты сцены находились в фокусе в радиусе четырех диоптрий, у вас неизбежно возникнут проблемы.

Хорошо, перейдем к следующему варианту – адаптировать эти плоскости.



Исследователи в Ricoh недавно предприняли такую попытку и показали, что двигать эти плоскости возможно, если у вас есть подходящая самонастраивающаяся оптика. Но объекты, находящиеся между плоскостями, все равно окажутся размыты. Так что Натан Матсуда (Nathan Matsuda), Алекс Фикс (Alex Fix) и Дуг Ланман (Doug Lanman) из Oculus Research взглянули на проблематику и сказали: “Хорошо, вместо добавления еще большего количества плоскостей давайте посмотрим, как можно расширить функциональность каждой из них. Давайте избавимся от части плоскостей, а оставшиеся согнем.”



Итак, если мы воспользуемся более сложной подстраивающейся оптикой, то сможем расположить эти искривленные поверхности так, чтобы одна или несколько из них затрагивали все объекты сцены.

Сперва давайте посмотрим на симуляцию.


Сначала в фокусе находится удаленный задний план, затем в фокус попадает передний план.

Мы можем смотреть со всех сторон, и объекты будут попадать в правильный фокус с корректным внефокусным размытием, появляющимся при удалении от фокальной плоскости.

Кажется, идея оказалась достойной.

Конечно, симуляция работает всегда, так что мы создали некое подобие тестовой гарнитуры.


Это настоящие изображения, записанные на камеру. При использовании сегодняшних пространственных модуляторов света когда вы помещаете реальную камеру в прототип, контраст снижается. Команда работает над улучшениями, но все же устройство функционирует.

Сначала в фокусе оказывается дальний объект, затем ближний.

Ближний, дальний – мы можем задавать любой желаемый фокус без слежения за глазом.


И теперь, если вы сравните современный дисплей с фиксированным фокусным расстоянием слева и дисплей с адаптивным фокусом справа, вы увидите, что это потенциально новый и многообещающий способ фокусировки на объектах внутри VR.

Проблема со зрачками
Вторая область, на которую я хотел бы обратить внимание, это слежение за глазом. Отслеживание взгляда является ключевой технологией для VR, особенно в качестве базы для разработки множества видов вычислительной оптики.

Самая передовая технология слежения за взглядом на сегодня основывается на отслеживании положения зрачков и бликов от роговицы.



Видео показывает, как работает слежение за зрачком. Проблема в том, что у разных людей зрачки могут существенно отличаться.


Зрачки также могут изменяться в размерах и даже по форме, причем не обязательно одновременно оба.



Слежение за роговицей помогает компенсировать ограничения механизма слежения за зрачками, но веки все еще могут создавать проблемы. Тут же стоит упомянуть о проблемах размещения осветителей и камер внутри гарнитуры и позиционирования их так, чтобы слежение охватывало весь диапазон движения глаз с учетом углубленных глазниц, широких лиц и выпученных глазных яблок, и при этом оставалось на 100% надежным.

Кроме того, глаз на самом деле не является жестким органом:



Это может быть непросто заметить, так что посмотрите еще раз. Обратите внимание на форму зрачка в тот момент, когда глаз перестает двигаться.

Настоящая проблема в том, что даже самая совершенная технология слежения за глазом пытается угадать, в какое место сетчатки попадут фотоны. Для этого она анализирует положение зрачка и блики роговицы. Правильным решение тут будет отслеживать отличительные признаки прямо на самой сетчатке. А самое правильное решение – смотреть на изображение, которое формируется на сетчатке. Но чтобы гарнитура могла делать это во всем возможном диапазоне движения глаза понадобится совершенно новый тип технологии слежения.

Реальные люди в виртуальном пространстве
Третья область, которую я хочу вкратце рассмотреть, это виртуальные люди, которые представляют реальных людей в виртуальном пространстве. Как я уже сказал, я верю, что эта область сама по себе станет основным фактором широкого распространения VR.

Для создания убедительных виртуальных людей потребуется интеграция, как минимум, четырех отдельных технологий слежения, каждая из которых на сегодняшний день еще находится в незрелом виде. Мы уже поговорили о слежении за глазами, так что давайте теперь посмотрим на слежение за руками.

Вот как выглядит идеальное отслеживание положения рук:



К сожалению, степень свободы рук составляет всего лишь порядка 25°, а сами они постоянно вызывают коллизии. Сейчас для достижения такого уровня качества отслеживания нам требуются перчатки с ретроотражателями и множество камер.

Лицо – самая выразительная часть тела. Оно обладает большой гибкостью, которую трудно уловить. Слежение за лицом является, пожалуй, наиболее сложной задачей при отслеживании положения человеческого тела.



Это приблизительная иллюстрация того состояния, где сейчас находится технология отслеживания лица в реальном времени при помощи гарнитуры. Прогресс, конечно, есть, но ей еще предстоит пройти долгий путь.



Хорошее отслеживание скелета в реальном времени сейчас становится возможным. Тем не менее, для хорошей отладки этого механизма все еще предстоит проделать много работы. Непосредственное отслеживание положения тела, в отличие от слежения за скелетом, которое использует доступные пользователям камеры, остается прерогативой сложных исследований.

Основополагающая технология для создания виртуальных людей предлагает множество интересных вопросов для исследования, но действительно занимательным является следующий: ”Что делает аватара уникальной и правдоподобной личностью?”

Ответ на него лежит в области науки о восприятии и психологии взаимодействия в социуме, а начать стоит со сбора большого количества данных. Язер Шейх (Yaser Sheikh) проделал такую работу со своим Паноптикумом в Университете Карнеги-Меллонов. Давайте посмотрим на пример своего рода исследования, который доступен для ознакомления.



Результат этой работы, проделанной Томасом Саймоном (Tomas Simon), выглядит очень классно. Но обработка одной секунды данного видео заняла два часа, так что технологии еще очень далеко до использования в режиме реального времени.

Новые горизонты
Вот всего лишь некоторые испытания, с которыми сегодня сталкивается VR. До полного разрешения всех проблем пройдет много лет. И, конечно, существует еще множество других сложных задач. Например, тактильное взаимодействие (не говоря уж о тактильной отдачи для всего тела), передача запахов, а когда-нибудь к ним добавятся еще и передача вкуса и вестибулярного ощущения. Если коротко, VR сейчас представляет собой широкое пространство, которое ждет своих исследователей, и на нем следует сконцентрировать гораздо больше внимания ученых. Без сомнений, десятилетия инноваций ждут нас впереди.

VR в чистейшем смысле представляет собой огромное испытание. Очевидно, что это невероятно сложная технология, требующая проведения исследований и разработок среди десятков смежных технологий. Но это только половина истории. VR стала кульминацией более чем 70-летней революции компьютерной техники и веков разработок в сфере информационных технологий. Наконец-то мы можем создать интерфейс, который позволит нам взаимодействовать с цифровым миром, используя значительную часть интеллектуальных способностей и биологическую обработку, до которой мы уже доросли.

Виртуальная реальность обладает потенциалом значительно расширить охват человеческих переживаний. И если этот замысел осуществится, она, без сомнения, станет одной из самых важных технологий нашего времени.
  • Добавить в закладки:
    2
  • Оценить:
    2

Нет комментариев