Une recherche du NUS développe un « œil » alimenté par l’IA permettant aux personnes malvoyantes de « voir » des objets

SINGAPOUR, 5 février 2024 /PRNewswire/ — Faire les courses est une activité courante pour beaucoup d’entre nous, mais pour les personnes malvoyantes, identifier les produits d’épicerie peut être intimidant. Une équipe de chercheurs de la School of Computing de l’Université nationale de Singapour (NUS Computing) a présenté AiSee, un appareil d’assistance portable abordable qui aide les personnes malvoyantes à « voir » les objets autour d’elles à l’aide de l’intelligence artificielle (IA).

Les personnes malvoyantes sont confrontées à des obstacles quotidiens, notamment en matière d’identification d’objets, cruciale pour la prise de décision simple ou complexe. Même si les avancées en matière d’IA ont considérablement amélioré les capacités de reconnaissance visuelle, l’application concrète de ces technologies avancées reste difficile et sujette aux erreurs.

AiSee, qui a été développé pour la première fois en 2018 et progressivement mis à niveau sur une période de cinq ans, vise à surmonter ces limitations en tirant parti des technologies d’IA de pointe.

“Avec AiSee, notre objectif est de permettre aux utilisateurs d’interagir plus naturellement. En suivant un processus de conception centré sur l’humain, nous avons trouvé des raisons de remettre en question l’approche typique consistant à utiliser des lunettes augmentées par un appareil photo. Les personnes malvoyantes peuvent être réticentes à porter des lunettes. pour éviter la stigmatisation. Par conséquent, nous proposons un matériel alternatif qui intègre un casque discret à conduction osseuse », a déclaré le chercheur principal du projet AiSee, professeur agrégé Suranga Nanayakkara, du département des systèmes d’information et d’analyse de NUS Computing.

L’utilisateur doit simplement tenir un objet et activer la caméra intégrée pour capturer une image de l’objet. Avec l’aide de l’IA, AiSee identifiera l’objet et fournira également plus d’informations lorsque l’utilisateur l’interrogera.

Comment fonctionne AiSee ?

AiSee comprend trois composants clés :

(1) L’œil : Logiciel informatique du moteur de vision

AiSee intègre une micro-caméra qui capture le champ de vision de l’utilisateur. Il s’agit du composant logiciel d’AiSee, également appelé « ordinateur du moteur de vision ». Le logiciel est capable d’extraire des fonctionnalités telles que du texte, des logos et des étiquettes de l’image capturée pour le traitement.

(2) Le cerveau : unité de traitement d’image alimentée par l’IA et système interactif de questions-réponses

Une fois que l’utilisateur a pris une photo de l’objet d’intérêt, AiSee utilise des algorithmes d’IA sophistiqués basés sur le cloud pour traiter et analyser les images capturées afin d’identifier l’objet. L’utilisateur peut également poser diverses questions pour en savoir plus sur l’objet.

AiSee utilise une technologie avancée de reconnaissance et de traitement de la parole et de la parole pour identifier les objets et comprendre les requêtes de l’utilisateur. Alimenté par un grand modèle de langage, AiSee excelle dans les échanges interactifs de questions et réponses, permettant au système de comprendre avec précision et de répondre aux requêtes de l’utilisateur de manière rapide et informative.

Comparé à la plupart des appareils d’assistance portables qui nécessitent un couplage avec un smartphone, AiSee fonctionne comme un système autonome qui peut fonctionner indépendamment sans avoir besoin d’appareils supplémentaires.

(3) Le haut-parleur : Système de sonorisation à conduction osseuse

Le casque AiSee utilise la technologie de conduction osseuse, qui permet la transmission du son à travers les os du crâne. Cela garantit que les personnes malvoyantes peuvent recevoir efficacement des informations auditives tout en ayant accès aux sons externes, tels que les conversations ou le bruit de la circulation. Ceci est particulièrement vital pour les personnes malvoyantes, car les sons environnementaux fournissent des informations essentielles pour la prise de décision, notamment dans les situations impliquant des considérations de sécurité.

« À l’heure actuelle, les personnes malvoyantes de Singapour n’ont pas accès à une technologie d’assistance à l’IA d’un tel niveau de sophistication. Par conséquent, nous pensons qu’AiSee a le potentiel de permettre aux personnes malvoyantes d’accomplir de manière indépendante des tâches qui nécessitent actuellement une assistance. Notre prochaine étape est pour rendre AiSee abordable et accessible au grand public. Pour y parvenir, nous apportons de nouvelles améliorations, notamment une conception plus ergonomique et une unité de traitement plus rapide », a expliqué le professeur Assoc Nanayakkara.

Mark Myres, étudiant à la NUS, qui a contribué à tester AiSee en tant qu’utilisateur malvoyant, a commenté : « Souvent, les appareils d’assistance semblent très destinés aux personnes totalement aveugles ou aux personnes malvoyantes. Je pense qu’AiSee est un bon équilibre. À la fois les malvoyants et les malvoyants. les personnes aveugles pourraient en tirer de nombreux avantages. »

Tests utilisateur et autres améliorations

Le professeur associé Nanayakkara et son équipe sont actuellement en discussions avec SG Enable à Singapour pour effectuer des tests utilisateurs auprès de personnes malvoyantes. Les résultats aideront à affiner et à améliorer les fonctionnalités et les performances d’AiSee. De plus, BP De Silva Holdings Pte Ltd a fait un généreux don de 150 000 dollars singapouriens pour soutenir le projet.

La décision de BPH de contribuer au développement d’AiSee est ancrée dans son engagement envers la responsabilité sociale d’entreprise et dans un véritable désir d’avoir un impact positif sur la société avec une mission plus large consistant à favoriser l’inclusion et l’accessibilité. Son effort philanthropique reflète également sa croyance dans le pouvoir transformateur de la technologie pour relever les défis sociétaux et créer un monde plus équitable et inclusif.

Mme Ku Geok Boon, directrice générale de SG Enable, a déclaré : « Les solutions innovantes rendues possibles par les technologies d’assistance peuvent changer la vie des personnes handicapées, qu’il s’agisse de les aider à vivre de manière plus indépendante ou de réduire les obstacles à l’emploi. En tant qu’agence et secteur focal facilitateur du handicap et de l’inclusion à Singapour, SG Enable est heureux de travailler avec des partenaires comme NUS et BP De Silva Holdings Pte Ltd pour tirer parti de la technologie afin d’autonomiser les personnes handicapées.

Au-delà de ce projet, SG Enable cherche également à collaborer avec NUS pour explorer comment l’IA, l’interface homme-machine et les technologies d’assistance peuvent offrir aux personnes handicapées davantage d’options technologiques.

Lire la suite sur:

SOURCE Université nationale de Singapour

2024-02-06 05:50:00
1707189851


#Une #recherche #NUS #développe #œil #alimenté #par #lIA #permettant #aux #personnes #malvoyantes #voir #des #objets