permet aux observateurs de voir dans les coins ou derrière les obstacles.

Des informations précieuses et souvent cachées sur l’environnement d’une personne peuvent être glanées à partir des reflets d’objets. En les réutilisant comme caméras, on peut faire des choses qui étaient auparavant inimaginables, comme regarder à travers les murs ou le ciel. Ceci est difficile car de nombreux facteurs affectent la réflexion, notamment la géométrie de l’objet, les propriétés des matériaux, l’environnement 3D et la perspective de l’observateur. En déconstruisant la géométrie des objets et en les éclairant de l’intérieur à partir du rayonnement spéculaire qui les reflète, les humains peuvent tirer des idées et des inférences sur la partie de l’environnement qui les entoure.

Des chercheurs en vision par ordinateur du MIT et de Rice ont développé un moyen d’utiliser les réflexions pour générer des images d’environnements réels. À l’aide de reflets, ils transforment l’objet brillant en “caméra”, donnant l’impression que l’utilisateur regarde le monde à travers la “lentille” d’objets courants tels qu’une tasse à café en céramique ou un presse-papier métallique.

La méthode utilisée par les chercheurs consistait à convertir un objet lumineux de géométrie infinie en une caméra à champ de rayonnement. L’idée principale est d’utiliser la surface de l’objet comme un capteur numérique pour enregistrer la lumière réfléchie par l’environnement environnant en deux dimensions.

Les chercheurs expliquent que la nouvelle synthèse de vue apporte une nouvelle perspective qui n’est directement visible que pour les objets lumineux de la scène mais pas pour l’observateur, grâce à la restauration du champ de rayonnement environnemental. Ensuite, nous pouvons imaginer l’agglodrate généré par les objets proches dans la scène en utilisant le champ de rayonnement. La méthode développée par les chercheurs est enseignée de bout en bout en utilisant plusieurs photographies d’un objet pour estimer simultanément sa géométrie, son rayonnement diffus et son champ de rayonnement environnemental 5D.

La recherche vise à séparer l’objet de son reflet afin que l’objet “voit” le monde comme s’il s’agissait d’un appareil photo et enregistre son environnement. La vision par ordinateur a lutté avec les reflets pendant un certain temps car ce sont des représentations 2D déformées de scènes 3D de forme inconnue.

Les chercheurs ont modélisé la surface de l’objet en tant que capteur virtuel et ont collecté des projections bidimensionnelles du champ de rayonnement environnemental 5D autour de l’objet pour créer une représentation tridimensionnelle du monde tel qu’il est vu par l’objet. La majeure partie du champ de rayonnement environnemental est bloquée, sauf par les réflexions des objets. Hors du champ de vision, la synthèse d’une nouvelle vue ou la présentation d’une nouvelle perspective qui n’est directement visible que pour les objets lumineux de la scène mais pas pour l’observateur, est rendue possible grâce à l’utilisation d’un champ de rayonnement environnemental, qui permet également de l’estimation de la profondeur et de la luminosité des objets par rapport à leur environnement.

En résumé, l’équipe procède comme suit :

• Ils montrent comment des surfaces fixes peuvent être transformées en capteurs virtuels avec la possibilité de prendre des images 3D de leur environnement en utilisant uniquement des cônes virtuels.
• Ensemble, ils ont calculé le champ de rayonnement autour de l’objet 5D et estimé son rayonnement diffus.
• Ils montrent comment utiliser les champs lumineux du milieu environnant pour produire de nouvelles perspectives invisibles à l’œil humain.

Ce projet vise à reconstituer le champ de rayonnement en cinq dimensions de l’océan à partir de nombreuses photographies d’éléments brillants de forme et d’albédo inconnus. L’éblouissement des surfaces réfléchissantes révèle des éléments scéniques en dehors du champ de vision. En particulier, les règles de surface et la courbure des objets lumineux déterminent comment l’image d’un observateur est mappée au monde réel.

Les chercheurs peuvent avoir besoin d’informations plus précises sur la forme des objets ou la réalité réfléchie, qui contribuent à la distorsion. Il permet également aux couleurs et aux textures des objets brillants de se fondre dans les reflets. De plus, il n’est pas facile de connaître la profondeur de la scène réfléchie car la réflexion est une projection bidimensionnelle d’un environnement tridimensionnel.

L’équipe de recherche a surmonté ces obstacles. Ils ont commencé par photographier l’objet brillant sous différents angles, capturant divers reflets. Orca (Objects Like Radiance-Field Cameras) représente leur processus en trois étapes.

Orcas peut enregistrer des réflexions multi-vues en imageant des objets sous plusieurs angles, qui sont ensuite utilisés pour estimer la profondeur entre les objets lumineux et les autres objets de la scène ainsi que la forme des objets lumineux eux-mêmes. De plus amples informations sur la force et la direction des rayons lumineux provenant de et frappant chaque point de l’image sont capturées par le modèle de champ de rayonnement 5D ORCa. Orcas peut faire des estimations de profondeur plus précises grâce aux données de ce champ de rayonnement 5D. Étant donné que la scène est rendue sous la forme d’un champ de rayonnement 5D et non d’une image 2D, les utilisateurs peuvent voir des détails qui seraient masqués par des coins ou d’autres obstacles. Les chercheurs expliquent qu’une fois que l’ORCa a collecté un champ de rayonnement 5D, les utilisateurs peuvent placer une caméra virtuelle n’importe où dans la zone et créer une image synthétique que la caméra produira. Les utilisateurs peuvent également modifier l’apparence d’un élément, par exemple de la céramique au métal, ou insérer des objets virtuels dans la scène.

En étendant la définition du champ de rayonnement au-delà du champ de rayonnement traditionnel en ligne de visée, les chercheurs peuvent ouvrir de nouvelles voies pour étudier l’environnement et les objets qu’il contient. En utilisant la largeur et la profondeur virtuelles projetées, le travail peut ouvrir des possibilités d’insertion d’objets virtuels et de perception 3D, telles que l’extrapolation d’informations provenant de l’extérieur du champ de vision de la caméra.

analyse papier Et page du projet. N’oubliez pas de rejoindre 22k + ML Sub RedditEt canal de contestationEt Et Courriel, où nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas et plus encore. Si vous avez des questions sur l’article ci-dessus ou si nous avons manqué quelque chose, n’hésitez pas à nous envoyer un e-mail à [email protected]

???? Découvrez des centaines d’outils d’IA dans le club d’outils d’IA