Майбутнє віртуальної реальності: п'ятирічний прогноз головного вченого Oculus

Виступ головного наукового співробітника Oculus Майкла Абраша (Michael Abrash) на конференції Connect стало доброю традицією з неодмінно цікавим наповненням. Він допомагає поглянути на віртуальну реальність в перспективі. Цього разу - на Connect 3 - Абраш зробив кілька сміливих і конкретних прогнозів про стан галузі в найближчі п'ять років.

По-перше, в короткостроковій перспективі найбільш важливо поліпшувати візуальні якості віртуальної реальності. Сучасні шоломи високого класу, такі як Rift і Vive , Пропонують 100 градусів поля огляду і здатність 1080 × 1200, що еквівалентно приблизно 15 пікселям на градус. Людина від природи має полем зору приблизно в 220 градусів - близько 120 пікселів на градус. Абраш стверджує, що дисплеї і оптика далекі від досягнення цієї мети (забудьте про 4K або 8K, це більше 24K на око). За його словами, через п'ять років ми можемо сподіватися на подвоєння кількості пікселів на градус - до 30 - з розширенням поля зору до 140 градусів при вирішенні близько 4000 × 4000 на кожне око. Крім того фіксована глибина фокуса повинна змінитися регульованою. Зараз зробити такі шоломи неможливо, але в перспективі декількох років завдання видається Абраш розв'язуваної.

Рендеринг картинки в дозволі 4000 × 4000 на кожне око при швидкості 90 кадрів в секунду знаходиться за межами можливостей найпотужніших побутових комп'ютерів. Для досягнення таких показників важливою технологією є фовеальній рендеринг ( «foveated rendering», від лат. Fovea centralis - центральна ямка ), Який в липні 2016 року наочно продемонстрував дослідний відділ компанії NVIDIA .

Фовеальній рендеринг - це метод, при якому тільки невелика частина зображення в центрі поля зору користувача отрісовивается в повному якості, а решта розмивається в міру наближення до периферії. Однією з особливостей нашого зорового апарату є краще розпізнавання деталей в центрі і погіршення деталізації при поліпшенні розпізнавання руху по краях поля зору. Таким чином фовеальній рендеринг користується природною особливістю зору для зменшення витрат ресурсів на отрисовку тієї частини картинки, якої висока деталізація все одно не потрібна. Є лише одне «але»: для використання даного методу потрібні системи окулографія (стеження за напрямком погляду людини) такої точності, якої від сучасних пристроїв домогтися не вдалося. Але попереду цілих п'ять років.

Потім Абраш на деякий час перейшов від графіки до звуку. Функція персоналізованої передачі звуку залежно від положення голови (head-related transfer functions - HRTF) поліпшить його реалістичність. Поточне рішення для тривимірного звуку Rift генерує HRTF в реальному часі на основі трекінгу голови, але вона створена усередненим для всіх користувачів відразу. Функція HRTF повинна варіюватися в залежності від розмірів тулуба і голови, форми вух - це виведе якість звуку на новий рівень. Абраш не став вдаватися в спосіб досягнення такої персоналізації, для якої зазвичай вимагається тест в безлунній камері, але помітив, що в наступні п'ять років буде представлений спосіб «легкої і швидкої» домашньої настройки. Також він чекає значного прогресу в моделюванні відображення, дифракції та інтерференції.

Що стосується контролерів, Абраш впевнений в здатності пристроїв, подібних Oculus Touch , Залишатися в строю в «найближчі 40 років». За цей час, без сумнівів, покращаться їх ергономіка, точність і функціональність, але суть не зміниться, як багато років не змінювалася суть комп'ютерної миші. Особливо цікаво в цьому контексті думка Абраша про трекінг рук без контролерів або рукавичок (як у Leap Motion ): Протягом п'яти років вони можуть стати ще одним стандартом галузі поряд з контролерами. Ймовірно, тут можна провести паралель з сенсорними екранами, які ідеальні для планшетів або смартфонів, і фізичними кнопками, які незамінні в іграх і роботі на ПК. У різних ситуаціях зручним виявиться одне з рішень.

Разом з поліпшеннями по частині зображення, трекінгу та передачі даних нас чекає полегшення гарнітур, які сьогодні важко довго носити багато в чому через вагу. Зокрема, це буде досягнуто кращим розподілом ваги комплектуючих по корпусам. Також очікується більш гнучка коригування лінз в залежності від особливостей зору користувача - можливо, що виростає з технології зміни глибини фокуса.

Нарешті, шоломи стануть бездротовими, але для цього протягом п'яти років доведеться попрацювати, з одного боку, над бездротовою передачею даних, а з іншого, над фовеальній рендерингом.

Далі Абраш торкнувся теми додавання елементів реального світу у віртуальний, званого їм «доповнена віртуальна реальність». Шоломи майбутнього зможуть сканувати простір і переносити речі з фізичного оточення користувача в ВР-додатки. Також актуальною може стати «телепортація» користувача в знімаються в реальному часі місця. По суті, це змішана реальність, успіхами в розробці якої регулярно діляться дослідники Microsoft . Абраш уточнює: шоломи доповненої віртуальної реальності будуть дуже відрізнятися від шоломів доповненої реальності, оскільки дозволяють не тільки накладати графіком, але і контролювати кожен піксель в змішаній сцені. Чимось подібним займається Magic Leap .

Прогрес у віртуальній телепортації, трекінг тіла, голови і рук забезпечить значні поліпшення в створенні ВР-аватарів. Але реалістичне відображення людського тіла в реальному часі представляється Абраш однією з найбільш складних завдань, оскільки ми, не помічаючи цього, дуже уважні до експресії і мови тіла. Прорив в реалістичній передачі оточення, спільних просторах протягом п'яти років можливий, але на створення аватара, здатного передати співрозмовнику відчуття реального людини, можуть піти десятиліття.

В кінці виступу головний дослідник Oculus переключився на «робочий простір мрії», про який говорив і в минулому році. У віртуальному оточенні можна створити будь-яку атмосферу, додати необмежену кількість інтерактивних дощок, моніторів і абсолютно будь-яких інших об'єктів. Залишилося додати людей, і перед нами потужний багатокористувацький інструмент. Але до цього доведеться провести все поліпшення, про які йшла мова в презентації - зображення, введення, звуку, рендеринга, передачі даних і так далі. Віртуальна реальність повинна стати настільки комфортною, щоб замінити опосередковані технології: монітори, миші, клавіатури, оцифровку людини, масу програмних рішень.

Повний виступ Майкла Абраша:

Відеозаписи всіх сесій для розробників з Oculus Connect 3 доступні в нашому спеціальному матеріалі .

Чи не пропускайте найважливіші новини про доповненої, змішаної і віртуальної реальності - підписуйтесь на Голографик в ВК , Twitter і Facebook !

далі: Oculus щільніше займеться доповненою реальністю і розробкою чіпів

за матеріалами Road to VR

Якщо ви знайшли помилку, будь ласка, виділіть фрагмент тексту і натисніть Ctrl + Enter.

Підтримай Голографик на Patreon!