Комбінована реальність як нове майбутнє відеодзвінків
- Віртуальний телеком
- MR, як телефон наступного покоління
- Перші системи MR
- Сучасні системи MR-конференц-зв'язку
- тренди розвитку
- До побачення, телефон ...
Влітку 1995 року дослідник Марк Біллінгхерст (Mark Billinghurst) взяв участь в дивовижну подію, яка назавжди змінила його життя. Одягнувши шолом-дисплей віртуальної реальності в університеті Вашингтона, він перенісся в невелику чайну кімнату в Японії. Він міг говорити з людьми в цій кімнаті, повернутися до них обличчям або спиною і помахати їм безплотної віртуальної рукою. Проект був розроблений HIT Lab Greenspace, і тоді VR вперше використовувалася для створення трансконтинентального спільного віртуального світу. 
Телеконференція в умовах Віртуальної Реальності GreenSpace (1995)
Віртуальний телеком
У той час вартість апаратного забезпечення для проекту перевищувала $ 1 млн, а рахунок за комунікації за кілька днів використання лінії зв'язку становив десятки тисяч доларів. Тепер, 20 років потому, VR-конференцсвязь стає все більш поширеною. Такі компанії як High Fidelity, Sansar і Facebook розробляють спільні простору VR. Щомісяця на платформі Altspace VR налічується понад 30 тис. активних користувачів, росте популярність таких спільних програм, як Rec Room і Big Screen.
Facebook Spaces запропонував для загального використання VR-додаток (2017), GreenSpace Today
Однією з привабливих сторін VR для проведення конференцій є те, що вона дозволяє людям використовувати ті ж комунікаційні сигнали (жести, вираз обличчя і т.д.), які застосовуються в спілкуванні віч-на-віч. Вони не тільки можуть спілкуватися між собою - у користувачів є віртуальні тіла, що дозволяють повертатися один до одного, потискати руки і робити безліч несловесних жестів. Нарешті, вони можуть взаємодіяти з віртуальним середовищем, що оточує їх, наприклад, вказувати на об'єкти в просторі і говорити про них, або разом грати в ігри. Це означає більш високу ступінь соціальної присутності, ніж у звичайній аудіо- або відеоконференції.
MR, як телефон наступного покоління
VR-конференцсвязь має великий потенціал, тому бізнес інвестує десятки мільйонів доларів у спільні платформи VR. Проте, конференцсвязь в умовах комбінованої реальності (mixed reality - MR) володіє ще більшим потенціалом за рахунок її зворотного зв'язку з реальним світом. Комбінована реальність - це технологія, яка комбінує реальний і віртуальний світи. На відміну від VR, яка відділяє людей від реального світу, MR намагається поліпшити взаємодію в реальному світі або принести елементи реального світу в середовища VR.
Переваги використання комбінованої реальності для віддаленого взаємодії включають:
- можливість отримання допомоги від віддалених користувачів у вирішенні завдань реального світу;
- переміщення «віртуальних людей» в реальний простір користувача;
- підтримка переходу з режиму AR в VR;
- використання зображень MR для передачі жестів та інших сигналів мови тіла;
- дозволяє співрозмовникам бачити один одного.
Можливо, найбільша перевага полягає в тому, що MR-конференцсвязь сфокусована на спільному огляді робочого простору з віддаленим співробітником. Для багатьох задач в реальному світі, таких як дистанційне обслуговування, під час розмови важливіше бачити не обличчя людини, а те, над чим він працює. Завдяки цій здатності MR-конференцсвязь може застосовуватися у великій кількості областей: від використання для віддаленої експертної підтримки в промисловості до надання медичної допомоги в операційній, а також розваг.
Перші системи MR
Майже 20 років тому була розроблена одна з перших спільних систем MR. Ця програма конференц-зв'язку в умовах доповненої реальності, яке транслювало відеоаватара віддалених людей в режимі реального часу і в реальному середовищі користувача. Зображення виводилося в шолом з дисплеєм, що давало можливість користувачеві взаємодіяти в режимі hands-free. Головною перевагою було те, що додаток носило віддалену конференцію з комп'ютерного екрану в реальний світ. І виявилося, що віртуальний співробітник в форматі відеоаватара в натуральну величину в реальному робочому середовищі забезпечує більш високу ступінь соціальної присутності, ніж перегляд його на екрані комп'ютера.
Конференц-зв'язок в умовах доповненої реальності, 1998 рік
Приблизно в той же час з'явився пристрій WearCom, яке дозволяло виводити зображення декількох віртуальних співрозмовників навколо користувача в шоломі-дисплеї і з мікрокомп'ютером. Дослідники виявили, що застосування просторового звуку дозволяло людині легко усувати неоднозначність між декількома спікерами, навіть коли вони говорили майже одне і те ж - точно так само, як в розмові віч-на-віч на вечірці з безліччю людей.
Додаток для MR-конференцій для носяться пристроїв WearCom, 1998 рік
Хоча таке дослідження здавалося багатообіцяючим, проблема полягала в тому, що відеоаватара віддалених людей виглядали плоскими прямокутниками. Але проблема вирішилася через пару років завдяки системі 3D Live System, де застосовувалися кілька камер для захоплення зображення і перегляду під будь-яким кутом.
Додаток для 3D live MR-конференції 2002 рік
Взагалі, термін «комбінована реальність» описує технологію суміщення повністю реального світу з іммерсійним віртуальним оточенням. Більшість систем дозволяє генерувати суцільне простір MR. Наприклад, проект MagicBook підтримує комунікації лицем до лиця, типу AR або VR, або їх комбінації. Використовуючи цю систему, дві людини можуть разом читати книгу. Коли користувач бачить цікаву сцену у віртуальній реальності AR, він може клацнути перемикачем на ручці і перейти в іммерсійний досвід VR.
Ці експериментальні зразки показали, що технологія MR підходить для безперешкодного розміщення віртуальних співробітників в реальному світі користувача і забезпечення унікального спільного досвіду. На відміну від VR-конференцій, MR-інтерфейс покращує інтерактивну взаємодію в реальному світі і дозволяє надати допомогу у вирішенні нагальних завдань. Тести з цими та іншими системами показали, що в разі інтерфейсу MR люди відчувають більш високу ступінь присутності.
Сучасні системи MR-конференц-зв'язку
Поява нового покоління дисплеїв AR і VR призвело до створення нових спільних технологій MR. Шолом Microsoft HoloLens демонструє MR-версію Skype. Користувач може розташувати віртуальне вікно Skype в будь-якому місці в просторі і бачити відеозображення віддаленого співробітника в реальному часі. Одночасно камера HoloLens передає відео в реальному часі віддаленого співробітнику, щоб той міг бачити робочий простір першого користувача і вносити AR-примітки при виконанні реальних завдань. Таким чином, у віддаленого співробітника складається відчуття, що він дивиться на світ очима користувача HoloLens.
Однак, подібно додатком для AR-конференції 20-річної давності, Skype в системі HoloLens поміщає «живе відео» в плоский віртуальний прямокутник. Проект Microsoft Holoportation вирішує таку проблему, використовуючи кілька датчиків глибини. Це дозволяє захоплювати і транслювати тривимірну віртуальну модель віддаленого користувача в реальний світ локального співрозмовника. Комбінація з HoloLens означає, що локальний користувач бачить віртуальну копію віддаленого користувача в натуральну величину в реальному світі.
Цікаво, що в цій галузі вже успішно працюють кілька стартапів. Mimesys анонсував розробку першої голографічного платформи нарад, яка здатна захоплювати зображення реальних людей і об'єднувати їх в загальні віртуальні простори. Аналогічно, DoubleMe'sHoloportal надає легку версію Holoportation Microsoft для спільних конференцій. Очікується, що протягом наступних кількох років в цій сфері буде набагато більше активності.
MR- платформа нарад Mimesys Connect
Вищезазначені системи показують, як досвід проведення MR-конференцій може працювати на сучасних комерційних платформах AR і VR. Оскільки дисплеї, технологія відстеження, системи захоплення зображень і пропускна здатність продовжують розвиватися, системи MR-конференцій будуть поліпшуватися і далі.
тренди розвитку
Вже сьогодні є ряд експериментальних розробок у галузі MR-конференцій, які дозволяють людям співпрацювати більш ефективно, ніж будь-коли. Зокрема, важливо відзначити три технологічні тенденції:
- Природне співпраця: оскільки швидкість роботи в мережі зростає, з'являється можливість передавати більше комунікаційних сигналів, ніж раніше (наприклад, відео витісняє використання тільки аудіо). Це призводить до більш природному співпраці.
- Досвід захоплення зображень: нова технологія, яка дозволяє передавати відчуття навколишнього середовища більше, ніж будь-коли раніше. Наприклад, мова йде про перехід від фотографування до відеозйомці 3D-простору .
- Безумовне розуміння: тепер комп'ютери способи краще розуміти користувачів. Це дозволяє їм розпізнавати, наприклад, куди зараз дивиться людина.
На стику трьох трендів знаходиться область досліджень, яку називають емпатичних обчисленнями. На відміну від традиційних інструментів конференц-зв'язку, Емпатичні системи призначені для того, щоб більш глибоко розуміти точку зору своїх співробітників, бачити їх, чути те, що чують вони, і до деякої міри розуміти, що вони відчувають.
Інноваційні окуляри Empathy Glasses демонструють приклад досвіду спільної роботи в умовах MR, який можна розробити з точки зору емпатичних обчислень. Це AR-дисплей, здатний розпізнавати вираз обличчя і стежити за поглядом. Коли людина одягає їх, відео його робочого середовища відправляється віддаленого співробітнику, разом з виразом його обличчя і очей. Віддалений співробітник може бачити те, що бачить локальний користувач, а також точно знає, куди той дивиться, розуміє, коли співрозмовник відчуває себе збентеженим або незадоволеним завданням, яку вони вирішують.
До побачення, телефон ...
Через 20 років користування мобільним телефоном для спілкування з друзями буде таким же старомодним, як користування сьогодні стаціонарним телефоном. На той час технологія комбінованої реальності дозволить людям бачити поруч із собою віртуальні копії своїх друзів в реальному світі, дивитися на світ їхніми очима і допомагати у вирішенні актуальних завдань.
Сьогодні системи VR і AR дають лише невелике уявлення про потенціал комбінованої реальності. MR-Системи здатні обмінюватися розширеними комунікаційними сигналами в реальному світі і дозволяють віддаленим людям співпрацювати такими способами, які раніше не були доступні.
БІЛЬШЕ ЦІКАВОГО:
джерело: Medium