Des chercheurs de l'université de Singapour présentent le dernier prototype du casque AiSee, qui permet aux aveugles de voir le monde grâce à des descriptions vocales basées sur l'IA

05 février 2024

Des chercheurs de NUS développent un "œil" alimenté par l'IA pour permettre aux personnes malvoyantes de "voir" les objets
Assoc Prof Suranga Nanayakkara (à gauche) avec Mark Myres (à droite), étudiant de NUS, qui a testé AiSee en tant qu'utilisateur malvoyant.

Faire ses courses est une activité courante pour beaucoup d'entre nous, mais pour les malvoyants, l'identification des produits d'épicerie peut s'avérer déconcertante. Une équipe de chercheurs de la National University of Singapore's School of Computing (NUS Computing) a présenté AiSee, un dispositif d'assistance portable abordable qui aide les personnes malvoyantes à "voir" les objets autour d'elles avec l'aide de l'intelligence artificielle (IA).
Les personnes souffrant de déficience visuelle sont confrontées à des obstacles quotidiens, notamment en ce qui concerne l'identification des objets, qui est cruciale pour la prise de décisions simples et complexes. Bien que les progrès de l'IA aient considérablement amélioré les capacités de reconnaissance visuelle, l'application de ces technologies avancées dans le monde réel reste difficile et sujette aux erreurs.

AiSee, qui a été développé pour la première fois en 2018 et amélioré progressivement sur une période de cinq ans, vise à surmonter ces limitations en tirant parti des technologies d'IA de pointe.

"Avec AiSee, notre objectif est de donner aux utilisateurs la possibilité d'interagir de manière plus naturelle. En suivant un processus de conception centré sur l'humain, nous avons trouvé des raisons de remettre en question l'approche classique consistant à utiliser des lunettes dotées d'une caméra. Les personnes souffrant de déficience visuelle peuvent être réticentes à porter des lunettes pour éviter d'être stigmatisées. C'est pourquoi nous proposons un autre matériel qui intègre un casque discret à conduction osseuse", a déclaré le chercheur principal du projet AiSee, le professeur associé Suranga Nanayakkara, du département des systèmes d'information et d'analyse de NUS Computing.

L'utilisateur doit simplement tenir un objet et activer la caméra intégrée pour capturer une image de l'objet. Avec l'aide de l'IA, AiSee identifiera l'objet et fournira également plus d'informations lorsque l'utilisateur l'interrogera.

Comment fonctionne AiSee ?

AiSee comprend trois éléments clés :

(1) L'œil : Logiciel informatique du moteur de vision
AiSee intègre une micro-caméra qui capture le champ de vision de l'utilisateur. Elle constitue le composant logiciel d'AiSee, également appelé "ordinateur moteur de vision". Le logiciel est capable d'extraire de l'image capturée des caractéristiques telles que du texte, des logos et des étiquettes pour les traiter.

(2) Le cerveau : Unité de traitement d'images alimentée par l'IA et système interactif de questions et réponses
Après que l'utilisateur a pris une photo de l'objet qui l'intéresse, AiSee utilise des algorithmes d'IA sophistiqués basés sur le nuage pour traiter et analyser les images capturées afin d'identifier l'objet. L'utilisateur peut également poser une série de questions pour en savoir plus sur l'objet.

AiSee utilise une technologie avancée de reconnaissance et de traitement du texte et de la parole pour identifier les objets et comprendre les questions de l'utilisateur. Doté d'un vaste modèle linguistique, AiSee excelle dans les échanges interactifs de questions-réponses, ce qui permet au système de comprendre avec précision les demandes de l'utilisateur et d'y répondre de manière rapide et informative.

Contrairement à la plupart des dispositifs d'assistance portables qui nécessitent un couplage avec un smartphone, AiSee fonctionne comme un système autonome qui peut fonctionner de manière indépendante sans nécessiter d'appareils supplémentaires.

(3) Le haut-parleur : Système sonore à conduction osseuse
Le casque d'AiSee utilise la technologie de conduction osseuse, qui permet la transmission du son à travers les os du crâne. Cela permet aux personnes malvoyantes de recevoir efficacement des informations auditives tout en ayant accès aux sons extérieurs, tels que les conversations ou les bruits de la circulation. Ceci est particulièrement vital pour les personnes malvoyantes, car les sons environnementaux fournissent des informations essentielles à la prise de décision, en particulier dans les situations impliquant des considérations de sécurité.

"À l'heure actuelle, les malvoyants de Singapour n'ont pas accès à une technologie d'assistance à l'IA de ce niveau de sophistication. Nous pensons donc qu'AiSee a le potentiel de permettre aux personnes malvoyantes d'accomplir de manière autonome des tâches qui nécessitent actuellement une assistance. Notre prochaine étape consiste à rendre AiSee abordable et accessible au plus grand nombre. Pour ce faire, nous apportons d'autres améliorations, notamment une conception plus ergonomique et une unité de traitement plus rapide", a expliqué le professeur Nanayakkara.
Mark Myres, étudiant à NUS, qui a participé au test d'AiSee en tant qu'utilisateur malvoyant, a déclaré : "Souvent, les dispositifs d'assistance semblent très ciblés sur les personnes totalement aveugles ou malvoyantes. Je pense qu'AiSee est un bon équilibre. Les malvoyants comme les aveugles pourraient en tirer de nombreux avantages"

Tests auprès des utilisateurs et nouvelles améliorations

Le professeur Nanayakkara et son équipe sont actuellement en pourparlers avec SG Enable à Singapour pour effectuer des tests d'utilisation avec des personnes malvoyantes. Les résultats permettront d'affiner et d'améliorer les fonctions et les performances d'AiSee. En outre, B.P. De Silva Holdings Pte Ltd a fait un don généreux de 150 000 dollars singapouriens pour soutenir le projet.

La décision de BPH de contribuer au développement d'AiSee est ancrée dans son engagement en faveur de la responsabilité sociale des entreprises et dans son désir sincère d'avoir un impact positif sur la société, dans le cadre d'une mission plus large de promotion de l'inclusion et de l'accessibilité. Cette entreprise philanthropique reflète également sa foi dans le pouvoir de transformation de la technologie pour relever les défis sociétaux et créer un monde plus équitable et plus inclusif.

Mme Ku Geok Boon, directrice générale de SG Enable, a déclaré : "Les solutions innovantes rendues possibles par les technologies d'assistance peuvent changer la vie des personnes handicapées, qu'il s'agisse de les aider à vivre de manière plus autonome ou d'abaisser les obstacles à l'emploi. En tant qu'agence de coordination et facilitateur sectoriel pour le handicap et l'inclusion à Singapour, SG Enable est heureux de travailler avec des partenaires tels que NUS et B.P. De Silva Holdings Pte Ltd pour tirer parti de la technologie afin d'autonomiser les personnes handicapées"

Au-delà de ce projet, SG Enable cherche également à collaborer avec NUS pour explorer comment l'IA, l'interface homme-machine et la technologie d'assistance peuvent offrir aux personnes handicapées davantage d'options technologiques.