Introduction à la réalité virtuelle (VR)

La réalité virtuelle permet littéralement d’expérimenter n’importe quoi, n’importe où, n’importe quand. C’est le type de technologie la plus immersive existante et elle peut convaincre le cerveau humain que lorsque l’utilisateur est dans un monde virtuel, il pense être dans un monde réel. Les casques de réalité virtuelle peuvent être ²utilisés avec des écouteurs et des contrôleurs pour fournir une expérience entièrement immersive.

Avec les plus grandes entreprises de technologie (Facebook, Google et Microsoft pour ne citer qu’eux) investissant actuellement des milliards de dollars dans des entreprises et des start-up de réalité virtuelle, l’avenir de la VR est assurément un pilier de notre vie quotidienne.

(c’est l’AR / réalité augmentée qui vous intéresse et non la VR / réalité virtuelle ? par ici ! – car oui, les deux sont très différentes)

Définition de la réalité virtuelle

Qu’est-ce que la réalité virtuelle (VR)?

Une image tridimensionnelle réaliste ou un environnement artificiel qui est présenté à un utilisateur de manière à ce que cette image ou cet environnement soit accepté par l’utilisateur comme un environnement réel avec lequel il peut interagir.

La réalité virtuelle expliquée

Explication simple de la réalité virtuelle (VR)

La réalité virtuelle également appelée VR est mieux comprise en définissant d’abord ce qu’elle vise à réaliser : une immersion totale.

L’immersion totale signifie que l’expérience sensorielle est si réelle que nous l’oublions, c’est un environnement virtuellement artificiel et avec lequel nous pouvons interagir comme nous l’aurions naturellement fait dans le monde réel. Dans un environnement de réalité virtuelle, un monde complètement synthétique peut ou non imiter les propriétés d’un environnement réel. Cela signifie que l’environnement de la réalité virtuelle peut simuler un contexte quotidien (Exemple : Marcher dans les rues de Lille) ou dépasser les limites de la réalité physique en créant un monde dans lequel les lois physiques comme la gravité, le temps et les propriétés matérielles sont différentes. Par exemple, dans notre expérience Visite virtuelle de concept store E.LECLERC “JOUET” l’utilisateur peut appuyer sur un bouton désactivant la gravitation et ainsi voir les objets flotter autour de lui.

Eléments clés d’une expérience de réalité virtuelle

Monde virtuel

Un monde virtuel est un environnement tridimensionnel où l’on peut, mais pas nécessairement,  interagir avec des objets et créer des événements dans le cadre de cette interaction. Dans un monde virtuel, les perspectives visuelles suivent les mouvements de la tête et du corps et les interactions imitent les actions qui sont effectuées dans le monde réel.

Immersion

L’immersion en réalité virtuelle est la perception d’être physiquement présent dans un monde non physique. Il englobe le sens de la présence, c’est à dire que le cerveau humain croit qu’il est bien présent dans un endroit alors qu’il ne l’est vraiment pas. Ce phénomène est accompli par des moyens purement mentaux et / ou physiques. L’état d’immersion totale existe lorsque suffisamment de sens sont activés pour créer la perception d’être présent dans un monde non physique. Deux types communs d’immersion comprennent:

  • Immersion mentale – Un état mental profond de l’engagement, avec la suspension de l’incrédulité que l’on est dans un environnement virtuel.
  • Immersion physique – Engagement physique exposé dans un environnement virtuel, avec la suspension de l’incrédulité que l’on est dans un environnement virtuel.

Feedback sensoriel

La réalité virtuelle nécessite la simulation du maximum de nos sens possible. Ces sens comprennent la vision, l’ouïe, le toucher et plus encore. Une stimulation correcte de ces sens nécessite des feedbacks sensoriels, qui se réalisent grâce au matériel et au logiciel intégrés.

Le détail de ce matériel et des intrants sont décrits ci-après comme composants clés d’un système de réalité virtuelle, notamment les casques de réalité virtuelle, des gants ou des accessoires et des manette.

Interactivité

L’élément d’interaction est crucial pour les expériences de réalité virtuelle pour fournir aux utilisateurs un confort suffisant pour s’engager naturellement avec l’environnement virtuel. Si l’environnement virtuel répond d’une manière naturelle à l’action d’un utilisateur, la stimulation des sens se fera.

Si l’environnement virtuel ne peut pas répondre rapidement, le cerveau humain le remarquera rapidement et le sentiment d’immersion diminuera. Les réponses de l’environnement virtuel à l’interaction peuvent inclure la façon dont un participant se déplace ou change de point de vue ; généralement par des mouvements de leur tête.

Les types de réalité virtuelle (VR)

Il existe plusieurs types de technologies de réalité virtuelle qui sont susceptibles d’apparaître à mesure que cette technologie progresse. Les différents types de réalité virtuelle diffèrent dans leurs niveaux d’immersion et les cas d’application. Ci-dessous, nous explorons quelques-unes des catégories de réalité virtuelle :

Non-immersif

Les simulations non immersives sont la mise en œuvre la moins immersive de la technologie de la réalité virtuelle. Dans une simulation non immersive, seul un sous-ensemble des sens de l’utilisateur est stimulé, ce qui permet une prise de conscience de la réalité en dehors de la simulation de la réalité virtuelle. Les utilisateurs entrent dans ces environnements virtuels tridimensionnels en utilisant des écrans HD reliés à un ordinateur classique.

non-immersive réalité virtuelle

Semi-immersif

Les simulations semi-immersives offrent une expérience plus immersive, dans laquelle l’utilisateur est en partie mais pas complètement immergé dans un environnement virtuel. Les simulations semi-immersives se ressemblent beaucoup et utilisent les mêmes technologies que l’on utilise pour la simulation de vol. Les simulations semi-immersives sont alimentées par des systèmes informatiques graphiques de haute performance, qui sont souvent couplés à des systèmes de projecteurs sur grand écran ou à des systèmes de télévision multiples pour afficher correctement les visuels de l’utilisateur.

semi-immersive réalité virtuelle

Entièrement immersif

Des simulations entièrement immersives fournissent la mise en œuvre la plus immersive de la technologie de la réalité virtuelle. Dans une simulation entièrement immersive, le matériel tel que les casques de réalité virtuelle et les dispositifs de détection de mouvement (tracking) sont utilisés pour stimuler tous les sens de l’utilisateur. Les simulations totalement immersives sont en mesure de fournir des expériences d’utilisateur très réalistes en offrant un large champ de vision, des résolutions élevées, des taux de mise à jour accrus (également appelés taux de rafraîchissement) et des niveaux élevés de contraste dans l’affichage du casque d’un utilisateur.

fully-immersive-réalité virtuelle

Comment fonctionne la réalité virtuelle?

Pour que le cerveau humain accepte un environnement virtuel artificiel comme réel, il doit non seulement avoir l’air réel, mais aussi avoir la sensation d’y être réellement. L’aspect réel peut être réalisé en utilisant un casque de réalité virtuelle qui respecte des critères physiques comme la taille de l’utilisateur et un environnement virtuel en 3D sans les limites habituellement visualisées à la télévision ou à l’écran d’un ordinateur. Le fait de se sentir “réel” peut être réalisé grâce à des périphériques d’entrée portables tels que des trackers de mouvement qui basent l’interactivité sur les mouvements de l’utilisateur. En stimulant plusieurs des mêmes sens que l’on utiliserait pour se déplacer dans le monde réel, les environnements de réalité virtuelle ressemblent de plus en plus au monde réel. Ci-dessous, nous explorons certains des composants clés derrière ce système.

Composants clés dans un système de réalité virtuelle

PC / Console / Smartphone

Le contenu de la réalité virtuelle, qui est ce que les utilisateurs voient à l’intérieur d’un casque de réalité virtuelle, est tout aussi important que le casque lui-même. Afin d’alimenter ces environnements tridimensionnels interactifs, une puissance de calcul significative est requise. C’est là que PC (Personal Computer), consoles et smartphones entrent en jeux. Ils agissent comme le moteur pour alimenter le contenu en cours de production.

Casque de réalité virtuelle

Un casque de réalité virtuelle est un type d’appareil qui contient un écran devant les yeux d’un utilisateur. Cet affichage couvre généralement le champ de vision complet de l’utilisateur et affiche le contenu de la réalité virtuelle. Certains casques de réalité virtuelle utilisent des écrans de smartphones, comme par exemple le Google Cardboard ou le Samsung Gear VR. Les casques sont souvent accompagnés d’un dispositif audio pour assurer une stimulation audio.

Des dispositifs d’entrée

Les périphériques d’entrée sont l’une des deux catégories de composants qui fournissent aux utilisateurs un sentiment d’immersion (c’est-à-dire convaincre le cerveau humain d’accepter un environnement artificiel comme réel). Ils offrent aux utilisateurs un moyen plus naturel de naviguer et d’interagir dans un environnement de réalité virtuelle. Certaines des formes les plus communes de dispositifs d’entrée de réalité virtuelle, on peut retrouver :

  • Joysticks
  • Lights de Tracking
  • Contrôleur
  • Data Gloves (Gants)
  • Trackpads
  • Boutons de contrôle sur le périphérique
  • Motion Trackers / Bodysuits
  • Tapis roulant
  • Salle dédiée

Fonctionnement des casques de réalité virtuelle

L’intérieur de chaque casque de réalité virtuelle est une série de capteurs, d’écrans individuels, de lentilles et d’écrans d’affichage, entre autres composants. Le démontage Ifixit Oculus Rift DK1 (2013) offre une excellente démonstration étape par étape et permet de voir à l’intérieur de l’un des casques de réalité virtuelle les plus populaires. Ci-dessous, nous explorons certains des composants clés à l’intérieur d’un casque de réalité virtuelle.

Composants clés à l’intérieur d’un casque d’écoute de réalité virtuelle

Capteurs

Les trois capteurs les plus courants dans un casque de réalité virtuelle sont les magnétomètres, les accéléromètres et les gyroscopes. Ces capteurs travaillent ensemble en mesurant les mouvements de l’utilisateur et la direction dans l’espace. Leur but ultime est de réaliser de véritables six degrés de liberté (6DoF), qui couvre tous les degrés de mouvement d’un objet dans l’espace.

  • Magnétomètre – Le magnétomètre indique à votre appareil quelle direction il fait face à la surface de la terre. Le magnétomètre agit comme une sorte de boussole pour l’appareil. En tant que tel, il est capable de le faire en mesurant les champs magnétiques.
  • Accéléromètres – L’accéléromètre indique à votre périphérique à quel hauteur il est. Pour ce faire, votre appareil aura plusieurs accéléromètres qui vont travailler ensemble en mesurant des éléments comme l’attraction gravitationnelle en relation avec l’accéléromètre mesurant l’orientation de l’appareil.
  • Gyroscopes – Un gyroscope calcule l’orientation de votre appareil. Cela permet d’aider votre appareil à maintenir une orientation particulière ou à s’assurer qu’il change correctement d’orientation lorsqu’il devrait.

Lentilles VR

Les lentilles se situent dans le casque entre vos yeux et les pixels sur les écrans d’affichage. Ils se concentrent et remodelent l’image pour chaque œil en penchant deux images 2D pour imiter la façon dont chacun de nos yeux voient le monde. On parle alors de vue stéréoscopique.

Cela crée une impression de profondeur et de solidité, que l’on appelle une image tridimensionnelle. Les lentilles sur chaque dispositif de réalité virtuelle ne sont pas toutes adaptées et doivent être ajustées pour une utilisation car tous les appareils ont des propriétés d’objectif différentes.

Ecrans d’affichage

Les écrans d’affichage montrent les images que les utilisateurs regardent à travers les lentilles. Ils sont généralement LCD et reçoivent des flux vidéo depuis l’ordinateur ou le smartphone. Selon le casque, le flux vidéo est envoyé soit à un affichage, soit à deux affichages (un par oeil). Cela se produit via une connexion sans fil, une connexion au smartphone ou une connexion HDMI. Les types les plus courants de la technologie d’affichage de la réalité virtuelle sont un écran à cristaux liquides (LCD), similaire aux types utilisés dans les smartphones et les moniteurs d’ordinateur. Une autre technologie d’affichage est un écran de diode électroluminescente organique (OLED).

Le traitement

Les systèmes de réalité virtuelle exigent une grande quantité de puissance. Le pouvoir de traitement requis par les systèmes de réalité virtuelle peut être divisé en plusieurs catégories:

  • Processeur d’entrée – Contrôle les périphériques utilisés pour entrer des informations sur l’ordinateur. Il récupère et distribue des données au reste du système avec un temps de latence minimal. Les exemples incluent les claviers et la souris, mais aussi des traceurs de position 3D (système de tracking) et des systèmes de reconnaissance vocale.
  • Processeur de simulation – Permet les entrées d’utilisateur avec toutes les autres tâches programmées dans le monde naturel et détermine les actions qui auront lieu dans le monde virtuel. C’est un élément essentiel du système VR.
  • Processeur de rendu – Crée les sensations qui sont transmises à l’utilisateur. Ceux-ci incluent des systèmes sensoriels visuels, auditifs, auditif et autres. Des processus de rendu séparés sont utilisés pour chaque système sensoriel.

Champ de vision

Le champ de vision (également appelé Field of Vision ou FOV) est un composant important utilisé dans la réalité virtuelle pour fournir aux utilisateurs une perception réaliste de leur environnement environnemental. Autrement dit, le champ de vision se réfère à la taille de l’image. Le champ de vision est mesuré en fonction du degré d’affichage (par exemple 360 ​​°). La plupart des casques haut de gamme ont un champ de vision de 100 ° ou 110 ° qui est suffisant pour la plupart des contenus de réalité virtuelle.

Frame Rate

La fréquence d’image (frame rate) se réfère à la fréquence à laquelle l’écran affiche des images consécutives, qui sont également appelées cadres. Les émissions de télévision sont exécutées à 30 images par seconde (fps) et certaines consoles de jeu fonctionnent à 60 images par seconde (fps).

Dans la réalité virtuelle, une cadence d’image minimale d’environ 60 images par seconde est nécessaire pour éviter le bug du contenu ou la cause d’une maladie de simulation. L’Oculus Rift fonctionne à 90 fps, offrant aux utilisateurs de Oculus Rift une expérience très réaliste. Les constructeurs de casques de réalité virtuelle sont en train de continuer à travailler pour obtenir des casques toujours plus rapides, ce qui permet une expérience plus réaliste.

Latence

La latence se réfère à la quantité de temps nécessaire pour qu’une image s’affiche dans un casque de réalité virtuelle d’un utilisateur afin de suivre le changement de sa position. La latence peut également être considérée comme un délai, et est mesurée en millisecondes (ms). Pour qu’une expérience soit considérée comme réelle, la latence doit habituellement se situer entre 20 millisecondes (ms) ou moins. Une faible latence, ou très peu de retard, est nécessaire pour que le cerveau humain accepte l’environnement virtuel comme réel. Plus la latence est faible, mieux c’est. Plus la latence est élevée, plus un décalage est notable et non naturel, provoquant ainsi une maladie de simulation (motion sickness) pour l’utilisateur.

L’audio

L’audio de la réalité virtuelle peut ne pas être aussi complexe sur le plan technique que les composants visuels, mais il est un composant tout aussi important pour stimuler les sens de l’utilisateur et réaliser l’immersion. La plupart des casques de réalité virtuelle offrent aux utilisateurs l’option d’utiliser leur écouteurs en conjonction avec un casque. Les autres casques peuvent inclure leur propre casque intégré comme l’Oculus Rift. L’audio de réalité virtuelle fonctionne via l’audio positionnel, multi-haut-parleur (souvent appelé Positional Audio) qui donne l’illusion d’un monde tridimensionnel. L’audio positionnel est une façon de “voir” avec vos oreilles et est utilisé dans la réalité virtuelle car il peut fournir des indices pour attirer l’attention des utilisateurs ou leur donner des informations qui ne peuvent être présentées visuellement. Cette technologie est déjà assez fréquente et se retrouve souvent dans les systèmes de son comme les home cinéma.

Suivi

Le suivi gère la tâche essentielle consistant à comprendre les mouvements d’un utilisateur et à agir ensuite afin de maintenir une immersion totale dans la réalité virtuelle. Ci-dessous, nous explorons les trois principaux types de suivi de la réalité virtuelle :

Suivi de la tête (head tracking)

Le suivi de la tête se réfère à la façon dont la vue devant vous se déplacera lorsque vous regardez, vers le bas ou sur les cotés. Un système appelé six degrés de liberté (6DoF) suit votre tête en fonction de vos axes x, y et z pour mesurer les mouvements de la tête vers l’avant et vers l’arrière, sur le coté et d’épaule à épaule, également appelé “pitch, yaw and roll“. Le suivi de la tête utilise une série de capteurs, essentiels pour tout casque de réalité virtuelle, qui comprend un gyroscope, un accéléromètre et un magnétomètre. La technologie de suivi des têtes doit avoir une faible latence afin d’être efficace. Tout ce qui dépasse 50 ms entraînera un décalage entre le mouvement du casque et les changements de l’environnement de la réalité virtuelle.

vr head tracking réalité virtuelle

Suivi des mouvements (motion tracking)

Le suivi des mouvements est la façon dont vous visualisez et interagissez avec votre propre corps (par exemple, les mains, les mouvements, etc.). L’un des actes les plus naturels liés au mouvement est de vouloir voir vos propres mains (virtuellement) devant vous. Pour ce faire, des accessoires d’entrée de réalité virtuelle tels que des gants peuvent être utilisés. D’autres dispositifs de suivi des mouvements tels que les contrôleurs sans fil, les joysticks, les tapis roulants et les plates-formes de mouvement sont maintenant utilisés pour compléter le casque et fournir une expérience encore plus immersive. Beaucoup de ces accessoires d’entrée utilisent des capteurs pour détecter des gestes tels que le pointage et l’ondulation. Les systèmes de réalité virtuelle tels que le casque Vive de HTC, utilisent des stations de base pour suivre les capteurs du casque et des contrôleurs.

vr-motion-tracking réalité virtuelle

Suivi de l’oeil (eye-tracking)

La technologie de suivi des yeux est encore en cours de maturation, mais elle peut être l’une des pièces manquantes les plus importantes pour compléter le puzzle d’immersion en réalité virtuelle. Le suivi des yeux implique le suivi des yeux humains via un capteur infrarouge qui surveille votre mouvement des yeux à l’intérieur du casque. Le principal avantage de ce type de suivi est que la profondeur de champ (c’est-à-dire la distance) devient beaucoup plus réaliste.

Dans un casque de réalité virtuelle, les objets sur lesquels nos yeux se concentrent doivent avoir l’air aussi réalistes que possible. Sans suivi de l’oeil, tout reste figé lorsque vous déplacez vos yeux – mais pas votre tête – autour d’une scène, ce qui entraîne une plus grande probabilité de mal de simulation (motion sickness).

eye-tracking-réalité virtuelle

Cas d’utilisation de la réalité virtuelle

Exemple: formation en aviation
Un exemple bien établi de réalité virtuelle déjà utilisée est dans le domaine de la formation aéronautique. De voler un avion commercial hors d’un aéroport international encombré, à une formation pour un vol de nuit dangereux en utilisant seulement une vision nocturne, la réalité virtuelle peut apporter des avantages importants aux pilotes.