Open-Source Kinesis procède à une ingénierie inverse du Neural Band de Meta pour les commandes musculaires du Mac

À l’origine, Meta a conçu le « Neural Band » comme périphérique d’entrée pour ses lunettes de réalité augmentée Ray-Ban Display. Au lieu de s’appuyer sur des caméras pour suivre les mains en suspension dans l’air, ce bracelet utilise l’électromyographie de surface (sEMG) pour capter les minuscules signaux électriques que le système nerveux de l’utilisateur transmet le long du bras. Dès qu’il détecte un mouvement brusque du doigt ou un pincement du pouce, les capteurs placés contre la peau détectent les impulsions motrices avant même que le doigt n’ait achevé son mouvement physique, créant ainsi une manette invisible et peu fatigante qui fonctionne lorsque les mains sont en position naturelle. Cependant, cette technologie était jusqu’à récemment limitée au matériel propre à Meta.

Kinesis, un projet open source publié sur GitHub par le développeur callbacked, a procédé à une ingénierie inverse du flux de paquets Bluetooth Low Energy (BLE) non chiffrés du bracelet. L’utilitaire de la barre de menus Kinesis s’appaire directement avec le matériel via Bluetooth, contournant ainsi entièrement les démons propriétaires et les serveurs cloud de Meta. En convertissant les signaux bruts des capteurs neuromusculaires en événements système macOS, un pincement entre le pouce et l’index est interprété comme un clic de souris, le fait de faire rouler les doigts permet de régler le volume du système, et un léger mouvement du poignet permet de basculer entre les espaces de bureau virtuels dans Mission Control.

Pour l’instant, le déploiement de Kinesis est limité à macOS. Cependant, une prise en charge multiplateforme étendue semble pratiquement acquise. Étant donné que le développeur a cartographié le protocole BLE brut de la bande plutôt que de s’appuyer sur les frameworks propriétaires d’Apple, le portage du décodeur vers Linux ou Windows est simple et pourrait ouvrir la voie à une navigation neuronale open source sur n’importe quel système d’exploitation. Vous trouverez plus d’informations sur Kinesis via le lien ci-dessous.