Un nouveau système traduit en paroles des gestes spécifiques à chaque individu pour les personnes ayant des difficultés de communication

Une équipe de chercheurs de l'université d'État de Pennsylvanie a mis au point un prototype de système qui utilise des capteurs portables et l'intelligence artificielle pour convertir les gestes en paroles. Ce système convertit en parole les mouvements corporels propres à chaque individu, ce qui le différencie des systèmes génériques.

Cette nouvelle approche, publiée dans la revue Augmentative and Alternative Communication, est conçue pour aider les personnes souffrant de déficiences motrices ou visuelles à communiquer de manière plus indépendante et plus efficace. La principale innovation de ce système réside dans sa personnalisation au niveau individuel.

Contrairement aux systèmes conventionnels de synthèse vocale formés sur de vastes ensembles de données, le système est conçu pour apprendre les mouvements idiosyncrasiques, c'est-à-dire les gestes qui ont une signification spécifique propre à une personne. Cela permet à la technologie de s'adapter aux mouvements spécifiques que l'utilisateur trouve faciles à faire, réduisant ainsi le stress physique de l'utilisateur.

Le système fonctionne en demandant à une personne de porter un capteur au poignet et de répéter un geste environ trois fois. À l'aide d'un algorithme d'intelligence artificielle, il mesure les caractéristiques du mouvement du geste et apprend son modèle unique. Ce schéma ou ce geste est ensuite associé à une phrase prononcée, comme "viens ici" ou "arrête ça". Une application smartphone connectée prononce la phrase à haute voix chaque fois que l'utilisateur fait le geste.

L'équipe a travaillé en étroite collaboration avec des personnes ayant des difficultés d'élocution au cours du développement. Emma Elko, qui souffre d'une déficience visuelle corticale, a notamment participé au projet. Le système a réussi à apprendre ses gestes personnels, ce qui lui a permis de communiquer sans l'aide de sa mère, son principal partenaire de communication.

Les chercheurs indiquent que la prochaine étape consistera à tester le prototype sur un plus grand nombre de personnes afin d'affiner sa capacité à distinguer les gestes similaires et à ignorer les mouvements involontaires. Ils prévoient également d'ajouter des caméras au capteur existant, afin d'obtenir un meilleur niveau de précision.