Un système qui augmente les visualisations de réalité mixte à l’aide de smartphones ou de tablettes

Les technologies de réalité mixte (MR) et de réalité augmentée (AR) fusionnent le monde réel avec des éléments générés par ordinateur, permettant aux utilisateurs d’interagir avec leur environnement de manière plus attrayante. Ces dernières années, ces technologies ont amélioré l’éducation et la formation spécialisée dans de nombreux domaines, aidant les stagiaires à tester leurs compétences ou à mieux comprendre les concepts abstraits et les données.

Des chercheurs de l’Université de Calgary ont tenté de développer des interfaces et des systèmes qui pourraient améliorer les visualisations RM. Dans un ensemble d’articles qui sera présenté à CHI 2023 LBWils ont présenté HoloTouch, un système qui peut augmenter les graphiques et les graphiques de réalité mixte en utilisant des smartphones comme proxys physiques.

“Pour moi, cet article a été inspiré en grande partie par un travail que j’ai publié pendant ma dernière année de licence” Neil Chulpongsatorn, l’un des chercheurs qui a mené l’étude, a déclaré à Tech Xplore “Ils sont tous deux issus de mon intérêt pour les interactions de réalité mixte pour les représentations de données.”

Dans certaines de leurs études précédentes, Chulpongsatorn et ses collègues ont exploré comment ils pouvaient augmenter les visualisations de données à l’aide de composants virtuels affichés via des écrans montés sur la tête (HMD), tels que Microsoft HoloLens. D’autres équipes ont également proposé des solutions similaires, telles que graphiques à barres physiquement dynamiques.

Bien que certains de leurs efforts antérieurs aient donné des résultats intéressants, les chercheurs ont réalisé que les casques MR et AR actuels ne prenaient pas en charge de telles visualisations de données dynamiques et améliorées. Dans leur récente étude, ils ont ainsi tenté de contourner ces limitations en utilisant des dispositifs existants et largement utilisés.

“Plutôt que de rendre les représentations physiques interactives, nous nous sommes tournés pour rendre la représentation virtuelle tangible à la place”, a déclaré Chulpongsatorn. “Fonctionne comme MARVIS présenté cette idée à un niveau élevé et démontré son potentiel. Nos travaux récents approfondissent la présentation des fondements de ces interfaces en tant qu’espace d’interaction que les concepteurs de visualisation pourront utiliser à l’avenir, ainsi que l’évaluation de l’efficacité de ces modèles d’interaction. »

Dans leur étude récente, Chulpongsatorn et ses collègues ont présenté HoloTouch, un système qui combine les HMD et les écrans tactiles sur les smartphones ou les tablettes pour améliorer les visualisations MR. HoloTouch permet essentiellement aux utilisateurs de “toucher” et de manipuler les hologrammes qu’ils voient sur les HMD via leurs smartphones.

“Notre système répond à certains des défis des visualisations MR actuelles, tels que le suivi peu fiable, la faible résolution visuelle et les entrées imprécises”, a expliqué Chulpongsatorn. “La nouveauté de notre travail vient de l’espace de conception présenté dans l’article, et pas tant du prototype. Fondamentalement, nous avons beaucoup réfléchi à la façon dont les téléphones mobiles peuvent interagir avec les hologrammes (en particulier des visualisations de données), compilé un document de référence, et présenté quelques exemples.”

Dans le cadre de leur étude récente, les chercheurs ont démontré six façons différentes d’interagir avec des graphiques et d’autres visualisations de données à l’aide d’un prototype de leur système. Ces premiers tests étaient très prometteurs, soulignant la promesse de leur solution pour augmenter les visualisations de données.

“Les résultats des évaluations préliminaires montrent que les gens aiment généralement explorer la visualisation avec le proxy plus que sans”, a déclaré Chulpongsatorn. “En particulier, la précision et la tangibilité se sont démarquées comme de solides avantages du proxy. Cela suggère que les interactions physiques avec les hologrammes sont bénéfiques pour la tâche d’analyse des données, bien que davantage de travail devra être fait avant de pouvoir tirer des conclusions plus solides.”

À l’avenir, le nouveau système proposé par cette équipe de chercheurs pourrait être utilisé par les concepteurs et les créateurs de contenu pour présenter des données aux étudiants, aux professionnels ou au public de manière plus immersive. Pendant ce temps, Chulpongsatorn et ses collègues espèrent améliorer encore leur système, en ajoutant de nouvelles fonctionnalités et de nouveaux styles d’interaction.

“Comme il s’agit d’un travail de dernière minute, il reste encore beaucoup à faire”, a ajouté Chulpongsatorn. “D’une part, l’espace a actuellement de l’ampleur mais pas beaucoup de profondeur. Il y a aussi d’autres interactions que nous devons encore explorer. Nous en avons parlé vers la fin de l’article. Plus d’interactions signifient également plus d’évaluations à faire, comme c’est l’une de nos principales contributions à ce travail.”