Microsoft lance l'application mobile Seeing AI pour aider les personnes malvoyantes en décrivant le monde à l'aide d'Azure AI

Microsoft a lancé l'application Seeing AI lors de l'Ability Summit du 7 mars, un événement qui explore les solutions numériques pour les personnes handicapées. Cette application innovante utilise les technologies Azure AI pour aider les personnes malvoyantes à s'orienter plus facilement dans la vie.

Les technologies d'IA nécessitent souvent des ordinateurs puissants pour analyser et répondre aux demandes des utilisateurs, et peu d'appareils mobiles sont équipés de puces d'IA telles que le Snapdragon 8 Gen 3 dans les smartphones 2024 les plus performants. Par conséquent, la plupart des demandes sont transmises à des services en ligne comme OpenAI (ChatGPT) ou Microsoft (Azure AI, CoPilot), où des ordinateurs plus puissants gèrent les demandes.

Microsoft Seeing AI utilise Azure GPT-4 Turbo avec Vision AI pour permettre des réponses réactives et précises sur n'importe quel smartphone doté de ces caractéristiques :

1. Synthèse vocale - L'application lit le texte qu'elle voit. Les textes courts peuvent être lus en mode caméra en direct, tandis que les textes longs sont photographiés, convertis en texte et enfin lus à voix haute.
2. Lecteur de code-barres - L'application recherche des produits en fonction du code UPC.
3. Scène - L'application décrit la scène qu'elle voit, en se concentrant sur l'objet le plus proche.
4. Personne - L'application décrit la personne qu'elle voit, en identifiant l'émotion faciale.
5. Monnaie - L'application identifie les billets qu'elle voit dans 17 pays.
6. Couleur - L'application identifie la couleur au centre de la photo en direct.
7. Écriture manuscrite - L'application convertit les notes manuscrites en texte.
8. Luminosité - L'application émet un son dont la hauteur varie en fonction de la luminosité.

Les résultats de l'application sont généralement précis, mais aucune IA n'est aussi performante qu'un humain pour identifier et décrire ce qui est vu. Par exemple, Seeing AI identifie correctement un rasoir dans une boîte de conserve, mais ne parvient pas à identifier une trieuse de pièces de monnaie, malgré les inscriptions sur le corps de l'appareil. Il en va de même pour le texte : l'application convertit généralement avec précision les textes figurant sur les reçus et les emballages, mais échoue avec les textes mathématiques et chimiques.

L'application Microsoft Seeing AI peut être téléchargée dès aujourd'hui sur les sites Android app store et Apple app store. Les lecteurs qui ont des difficultés à voir les petites choses peuvent essayer une loupe lumineuse(comme celle-ci sur Amazon).