Reconstruction 3D des images reflétées dans l’iris de nos yeux

Créer les ambiances observées par le regard dans une photo en 3D : une opération encore imparfaite mais possible

On n’est pas encore au niveau de Minority Report ou de Vanilla Sky mais les dés sont jetés. Certains chercheurs sont en effet parvenus à réaliser la reconstruction 3D des environnements d’une pièce à partir du reflet des murs et des objets dans les yeux d’une personne représentée sur une photo. La science-fiction? L’incipit est cela mais la réalité est bien plus proche que vous ne le pensez. Tout cela grâce à Technologie Neural Radiance Field (NeRF)qui commence à montrer des capacités étonnantes dans la reconstruction 3D d’images et de vidéos 2D.

Le travail est dû à des chercheurs de l’Université du Maryland, qui ont démontré la possibilité d’acquérir diverses images haute définition d’une personne se déplaçant dans une pièce, pour agrandir les reflets dans les cornées, les retourner, supprimer la couleur et les détails que les iris auraient pu ajouter et finalement traiter les informations brutes pour la reconstruction 3D des environnements environnants.

Comme prévu, ce ne sont pas des modèles 3D de très haute résolution (aussi parce qu’il s’agit, à toutes fins pratiques, d’une reconstruction 3D) : on peut distinguer un objet d’un autre mais pas dans le détail et, surtout, non sans recourir à un certain retouche photo. Le point est : y a-t-il un besoin pour une telle technologie? Peut-être pas aujourd’hui mais pour une scène de crime en 2030 peut-être ouiqui peut dire.

Les chercheurs ont créé un scénario du monde réel pour tester quelques solutions pour atteindre leur objectif. Premier point : zoomer sur les reflets des yeux des clips vidéo de Miley Cyrus et Lady Gaga, en espérant profiter de la vision rapprochée de qualité et des conditions d’éclairage favorables. Malheureusement, cependant, la résolution n’était pas assez élevée, et le résultat maximal qu’ils ont obtenu est que Miley Cyrus regardait une série de lumières… Rien d’extraordinaire ou de peu fiable. Puis le tournant : traiter ces images en trois dimensions et pas seulement en deux.

Reconstruction 3D de l’image, comme un rendu réalisé à partir de la vision 2D

Dans l’image se trouvent toutes sortes d’artefacts oculaires, la complexité des textures de l’iris et des reflets identifiables à basse résolution capturés à chaque instant. Pour supprimer l’iris des images, les chercheurs ont effectué une décomposition de la texture en entraînant un logiciel d’IA qui apprend comment la texture unique et non reproductible d’un iris est composée pour l’éliminer.

En utilisant la géométrie de la cornée, qui est à peu près la même chez tous les adultes, des calculs ont été effectués pour suivre exactement où regardent les yeux d’une personne sur une photo. Cela vous permet également de déterminer l’angle de la caméra en traçant les coordonnées de l’image sur la géométrie courbe et en définissant une direction de visualisation pour la technologie NeRF à utiliser ultérieurement pour procéder à la reconstruction 3D.

Malgré de subtiles inexactitudes dans la position de la cornée et les estimations géométriques, la méthode s’est avérée efficace pour la reconstruction de la scène. Des lumières de zone placées de chaque côté de la personne (hors cadre) ont été utilisées pour éclairer l’objet d’intérêt tandis que la personne photographiée était invitée à se déplacer dans le champ de vision de la caméra au fur et à mesure que d’autres images étaient capturées.

Plus que l’application elle-même, la principale conséquence de cette expérimentation concerne les avancées de la technologie Neural Radiance Field (NeRF), qui progresse avec des résultats étonnants. Qu’il suffise de dire qu’il existe des services pour l’utilisateur final, tels que LumaLabsAIqui utilisent la technique pour donner différents effets à une simple vidéo prise avec un téléphone portable.

Entre autres applications, l’UC Berkeley a combiné un réseau de modélisation NeRF avec un modèle de langage pour créer le modèle “Language Embedded Radiance Field” ou LERF, qui vous permet de rechercher des éléments particuliers dans une scène 3D en utilisant le langage naturel.

Imaginer un futur dans lequel les données individuelles ne seraient plus des informations autoréférentielles mais des éléments d’un écosystème ouvert, qui peuvent toujours être rappelés et analysés pour une infinité de raisons, est aussi réaliste qu’inquiétant.

Reproduction réservée © (Article protégé par le droit d’auteur)