Le Google Pixel 11 transforme la langue des signes américaine en texte écrit

Google DeepMind a dévoilé mercredi un modèle de traduction de la langue des signes, et celui-ci ne restera pas confiné au laboratoire. SL2T, abréviation de « sign-language-to-text » (langue des signes vers texte), est désormais intégré au clavier Gboard et à l’application Live Transcribe sur le Pixel 11. Signez, et vous obtenez du texte. Cela fonctionne partout où vous taperiez normalement : recherches sur le Web, messages, documents et invites Gemini. Google ne facture pas de supplément pour ce service.

Pour les utilisateurs sourds, c’est bien plus qu’une simple commodité. Environ 70 millions de personnes dans le monde utilisent l’une des plus de 200 langues des signes comme langue principale, et la dictée, que les utilisateurs entendants considèrent comme acquise depuis des années, ne leur a jamais été accessible. Dans Live Transcribe, ils peuvent désormais répondre oralement au lieu de devoir taper tout au long d’une conversation.

La caméra n’envoie jamais de vidéo à Google

La conception axée sur la confidentialité est l’aspect le plus intéressant. Le modèle ne voit jamais l’image de la caméra. MediaPipe Holistic fonctionne sur le téléphone et réduit les séquences vidéo à des repères corporels, c’est-à-dire de simples coordonnées pour les mains, les bras, la tête et le visage. Seuls ces chiffres sont transmis au serveur, et Google affirme que la vidéo est immédiatement supprimée.

Ce que Google a omis est tout aussi important. Les systèmes antérieurs traduisaient à l’aide de « glosses », une notation intermédiaire approximative des signes individuels qui élimine une grande partie de ce que les langues des signes véhiculent réellement, notamment les expressions faciales et l’utilisation de l’espace. SL2T passe directement des repères corporels au texte. L’entraînement a nécessité plus de 100 000 heures d’enregistrements couvrant plus de 50 langues des signes, dont environ un quart en langue des signes américaine (ASL). Sur le benchmark FLEURS-ASL, il obtient un score de 70 BLEURT, un indicateur de la qualité de la traduction, sans avoir vu au préalable les données de test.

Une seule langue, et Google signale ses propres erreurs

La liste des langues constitue le hic. À son lancement, SL2T ne prend en charge que la traduction de l’ASL vers l’anglais, rien d’autre ; les utilisateurs de la langue des signes britannique, allemande ou de toute autre langue des signes doivent donc encore patienter. Google promet davantage de langues et d’appareils sans toutefois préciser de date.

La précision n’est pas non plus irréprochable, et l’entreprise le reconnaît dans ses propres exemples. Une dactylosignature rapide transforme « prey » en « grey », un classificateur descriptif est omis, un temps verbal change lorsque le contexte fait défaut. L’équipe s’est toutefois attaquée aux problèmes pratiques : la latence lors de la traduction en direct, la génération de résultats fictifs lorsque personne ne signe, les signants gauchers, ainsi que la signature à une seule main, qui devient nécessaire dès lors que l’autre main tient le téléphone.

Des professionnels sourds ont été impliqués tout au long du projet. Un groupe consultatif appelé AISLAC a accompagné le lancement et a co-rédigé un rapport sur ce que le modèle est capable de faire et ce dont il est incapable.

Uniquement sur le Pixel 11, pour l’instant

Pour tester cette fonctionnalité, il faut acheter un Pixel 11. Google a ouvert les précommandes le 12 août, et au 13 août, le Google Store propose toujours ce téléphone en précommande au prix de 899 $. Les anciens modèles, tels que le Pixel 10 Pro, n’en bénéficient pas pour le moment.