Directeurs : Emmanuel Dubois, Marcos Serrano

Rapporteurs : Thomas Pietrzak, Thierry Duval

Jury : Jean-Pierre Jessel, Laurence Nigay

Publications (par ordre chronologique):

• Meilleure Démo Démo IHM’25 : Reda Benkhelifa , Clément Truillet , Gary Perelman , Emmanuel Dubois , Marcos Serrano. 2025, Maquette urbaine augmentée : Techniques d’interactions pour des visualisations situées autour de multiples référents physiques. https://hal.science/hal-05294849
• IHM’25 : Clément Truillet, Emmanuel Dubois, and Marcos Serrano. 2025, Techniques de Réduction de l’Occultation pour la Sélection de Référents Physiques en Réalité Augmentée : Adaptation et Evaluation de Techniques de Réalité Virtuelle. https://hal.science/hal-05294849
• INTERACT’25 : Clément Truillet, Emmanuel Dubois, and Marcos Serrano. 2025, Pointing at Physical Targets Around the Field of View of Optical See-Through Head-Mounted Displays. https://doi.org/10.1007/978-3-032-04999-5_33
• IHM’24 : Clément Truillet, Marcos Serrano, and Emmanuel Dubois. 2024. Interaction avec des Référents Physiques Dans et Autour du Champ D’Affichage des Casques Semi-Transparents de Réalité Augmentée. In Proceedings of the 35th Conference on l’Interaction Humain-Machine (IHM ’24), May 03, 2024. Association for Computing Machinery, New York, NY, USA, 1–15. https://doi.org/10.1145/3649792.3649796
• Rencontre Doctorales IHM’24 : Clément Truillet. 2024. Interaction avec une Maquette Phygitale : Techniques de Sélection Multi Cible. In IHM 2024 – 35ème Conférence Internationale Francophone sur l’Interaction Humain-Machine, March 2024. Association Francophone d’Interaction Humain-Machine (AFIHM), Paris, France, 1-6. https://hal.science/hal-04490613

Vidéo

• Pointing at Physical Targets Around the Field of View of Optical See-Through Head-Mounted Displays

Résumé

La visualisation située consiste à présenter des données numériques à proximité d’un objet physique générateur ou concerné par cette donnée : on appelle cet objet le référent physique. La visualisation située permet alors aux utilisateurs d’afficher des données dans le contexte des référents et d’extraire des informations supplémentaires ne faisant pas partie du jeu de données originel. Ainsi, l’utilisateur est amené à interagir avec des référents physiques et des données numériques réparties tout autour de lui en fonction de l’espace et du scénario d’interaction.
Dans ce contexte, les utilisateurs effectuent des tâches similaires : explorer, comparer, filtrer des données et annoter des référents. Ces tâches nécessitent une interaction directe avec les données et les référents, permise par des casques de réalité augmentée semi-transparents. Ces dispositifs permettent une interaction naturelle avec le monde augmenté, sans encombrer les mains des utilisateurs, tout en offrant des espaces d’affichage étendus et des perspectives multiples.
Dans cette thèse, nous explorons deux verrous : le pointage de référents physiques situés autour du champ d’affichage du casque ainsi que la réduction de l’occultation des référents physiques en réalité augmentée.
Dans le cadre de nos travaux portant sur le premier verrou, nous avons conçu et évalué deux techniques, Arm et Head-To-Finger, intégrant une vue focalisée affichant la zone autour du point d’impact du rayon de pointage. Ces techniques ont démontré de meilleures performances dans certains contextes que le pointage direct, imposant aux utilisateurs des mouvements de tête et de se détourner de l’affichage des données.
Dans le cadre de nos travaux portant sur le second verrou, nous avons appliqué et évalué trois types de techniques de réduction de l’occultation en RV au contexte de la RA. Basé sur l’analyse de ces résultats, nous avons alors développé et évalué deux nouvelles techniques : ConeProbeAR, ainsi qu’ARPortal, une technique proposant à l’utilisateur une vue de dessus de l’environnement du point d’impact de son rayon. Les résultats d’une seconde étude ont montré qu’ARPortal surpassait les autres techniques en termes de temps de réalisation, de taux d’erreur et de préférence des utilisateurs.
En conclusion de cette thèse, nous développons des perspectives court, moyen et long termes, inscrivant nos travaux dans de recherches futures autour de la gestions d’autres formes d’occultation ainsi que sur l’interaction en environnements collaboratifs multi-utilisateurs.

Abstract : Dans la visualisation située, les données numériques sont liées à des référents physiques dans l’environnement de l’utilisateur.Cependant, lorsque l’environnement contient plusieurs référents physiques (par exemple, des bâtiments dans un modèle à l’échelle urbaine), certains peuvent être occultés par d’autres, compliquant la capacité de l’utilisateur à les pointer et les sélectionner. Ce problème est bien connu en réalité virtuelle, et la littérature propose diverses techniques de réduction del’occultation pour soutenir le pointage des objets virtuels initialement occultés en réalité virtuelle. Ces techniques peuvent être organisées en trois catégories principales : déplacer les objets pour les révéler ; rendre l’occultant transparent pour révéler les objets derrière lui ; utiliser une vue supplémentaire pour révéler les objets occultés. Cependant, il est incertain que ces techniques soient bien adaptées pour révéler les référents physiques occultés dans les environnements de réalité augmentée (RA). Dans cet article, nous proposons des techniques de réduction de l’occultation dédiées à la RA, c’est-à-dire utilisées pour révéler les référentsphysiques occultés en réalité augmentée et permettre leur sélection. À cette fin, nous appliquons et évaluons les trois types de techniques de réalité virtuelle dans un contexte de réalité augmentée. Les résultats suggèrent la nécessité d’améliorations pour mieux s’adapter au contexte physique. Nous proposons donc trois travaux futurs basés sur les résultats de cette étude.

à paraitre

Abstract : With the increased availability of sensor-based data, data analysis lies at the heart of various needs, such as energy monitoring, and augmented mainte-nance. Presenting digital data in the context of their physical referents is now feasible thanks to AR Optical See-Through Head-Mounted displays (HMDs). However, although the display space with such HMDs is almost unlimited, their field of view (FoV) is still small: as a result, the surrounding physical referents are often positioned around the HMD FoV and cannot always be pointed at or interacted with to trigger the data display. Therefore, we designed and evaluated a set of techniques to point at objects in the User’s Field of Vision but out of the HMD FoV, thus limiting head movements. Our techniques are all based on show-ing, at the bottom of the HMD FoV, a focus view presenting the area centered on the ray’s impact point. We experimentally compared our techniques to moving the head and pointing at the target within the HMD FoV, for targets distributed on a horizontal or vertical surface. Our study shows that users perform better with our techniques when pointing at targets on a horizontal surface and perform sim-ilarly than the baseline technique on a vertical surface. We analyze the results and envision perspectives for around-FOV pointing.

https://doi.org/10.1007/978-3-032-04999-5_33

L’application permet de créer plusieurs formulaires à destination des participants afin de recueillir les données aisément.

Support de cours

Auteurs : Clément Truillet, Emmanuel Dubois et Marcos Serrano

Abstract : La combinaison des mondes numérique et physiques est aujourd’hui largement simplifiée grâce aux nombreux progrès réalisés dans le domaine des casques de réalité augmentée (RA). Dans de nombreux scenarios, tels que la maintenance augmentée, la mise en œuvre de la RA s’appuie désormais sur l’utilisation de référents physiques associés à des données numériques. Bien que l’espace d’interaction d’un casque de RA soit presque illimité, son champ d’affichage reste limité. Par conséquent la question du pointage des référents physiques autour du champ d’affichage du casque, où le feedback ne peut être affiché, devient cruciale. A cette fin, nos travaux caractérisent le pointage d’un référent physique dans, puis autour, du champ d’affichage du casque pour établir les différences. Nos études se focalisent sur la nature de la cible et du feedback mis en œuvre au cours du pointage.

HAL, ACM

Abstract : La visualisation immersive des données est connue pour apporter de nombreux avantages dans le contexte de la gestion et de la surveillance des crises. Elle est particulièrement pertinente dans des contexte de simulation interactive de territoire pour son aménagement en matière de mobilité, ainsi que dans d’autres contextes impliquant l’analyse de grandes quantités de données. En effet, lorsqu’ils utilisent un casque de réalité augmentée, les utilisateurs peuvent explorer les données dans l’espace, avoir plusieurs points de vue et exploiter de grands espaces d’affichage. Ce contexte d’interaction soulève de nouveaux défis. En particulier, ces nouveaux espaces d’affichage entraînent un besoin de techniques interactives avec ces données immersives : il faut pouvoir les sélectionner, manipuler, déclencher des commandes, filtrer, analyser. Compte tenu des apports du domaine de la visualisation située, exploitant un référent physique, pour l’analyse et l’exploration de données géo-spatialisées dans cette thèse, nous explorons l’utilisation de la maquette phygitale (maquette combinant aspect physique et ses propriétés numériques) comme support d’interaction dans le contexte des données géo-spatialisées. En résumé, l’objectif de cette thèse est de concevoir, développer et évaluer des techniques d’interaction permettant d’explorer de manière efficace et efficiente des données liées à un modèle phygital. En ce sens, les travaux réalisés dans le cadre de cette thèse ont porté sur l’étude du pointage de cible dans et autour du champ d’affichage de casque de Réalité Augmentée semi-transparents.

HAL