Explication
Méthode d'interaction sans contrôleur où l'utilisateur sélectionne un élément en le regardant (gaze) puis confirme l'action en pinçant le pouce et l'index (pinch). Popularisée par l'Apple Vision Pro, cette approche est aussi adoptée par Pico (OS 6) et HTC (Vive Focus Vision) sur leurs casques de spatial computing.
Exemple concret
Regarder une icône d'application et pincer les doigts pour l'ouvrir — comme un clic de souris, mais dans l'air
À quoi ça sert concrètement ?
- Navigation dans les menus et interfaces spatiales sans contrôleur
- Sélection d'objets 3D dans une scène immersive par le regard
- Interactions discrètes : les mains restent posées sur les genoux
- Accessibilité : interaction possible avec un mouvement minimal
Comparaison avec d'autres modes d'interaction
Gaze and Pinch (sans contrôleur)
- Le regard sert de pointeur pour sélectionner
- Le pincement des doigts sert de clic
- Mains libres, interaction discrète et naturelle
- Nécessite eye tracking et hand tracking de qualité
Exemple : Regarder un bouton Play, pincer les doigts pour lancer la vidéo
Contrôleurs (manettes VR)
- Pointage laser avec la manette
- Boutons physiques pour les actions
- Retour haptique (vibrations)
- Plus précis pour les interactions complexes
Exemple : Pointer un objet avec le rayon du contrôleur et appuyer sur la gâchette
Hand Tracking seul
- Les mains sont détectées par les caméras du casque
- Gestes variés : pincement, poing, pointage
- Pas de retour haptique
- Complémentaire au gaze and pinch
Exemple : Tendre la main pour attraper un objet virtuel et le déplacer
Exemple VR parlant
Dans une réunion en spatial computing, un manager parcourt un tableau de bord 3D. Il regarde un graphique de ventes pour le sélectionner (gaze), pince les doigts pour l'agrandir (pinch), puis le déplace d'un geste de la main vers l'espace partagé pour que ses collègues le voient. Aucun contrôleur n'est nécessaire — l'interaction est aussi naturelle que pointer du doigt.
Pourquoi est-ce essentiel en VR professionnelle ?
- Le gaze and pinch redéfinit l'interaction en XR : plus naturel, moins encombrant que les contrôleurs
- Standard émergent du spatial computing, adopté par Apple (Vision Pro), Pico (OS 6) et HTC (Vive Focus Vision)
- Réduit la barrière d'entrée : pas de manette à prendre en main
- L'eye tracking de qualité est le prérequis technique principal