LLM moderne contre Atari des années 1970 : Gemini admet qu'il ne peut pas gagner et s'en va
Le chatbot Gemini de Google aurait refusé de jouer une partie d'échecs avec l'Atari 2600 après avoir appris que la console de jeu ancienne avait déjà fait tomber ChatGPT et Microsoft Copilot.
Robert Caruso, architecte d'infrastructure, a déclaré à The Register que la question du site l'intriguait car "alors que ChatGPT et Copilot sont des cousins construits sur la même base OpenAI, Gemini est une bête complètement différente"
Caruso avait déjà confronté l'Atari 2600, avec son minuscule processeur 8 bits de 1,19 MHz et ses 128 octets de mémoire vive, à la puissance de ChatGPT, ce qui avait donné des résultats très intéressants.
Après avoir détruit ChatGPT, l'Atari 2600 s'est attaqué à Copilot de Microsoft, et les résultats ont été à peu près les mêmes. Il est intéressant de noter que dans les deux cas, les chatbots IA semblaient avoir un sentiment de confiance mal placé et se vantaient de leurs prouesses aux échecs.
Gemini de Google l'a également fait. Cependant, lorsque Caruso a informé le chatbot des précédents combats de l'Atari 2600, celui-ci a semblé faire marche arrière et admettre qu'il avait "halluciné ses prouesses aux échecs", ce qui témoigne d'un sens rare de l'évaluation interne des compétences pour une IA.
Gemini a alors décidé que "l'annulation du match est probablement la décision la plus efficace et la plus raisonnable" M. Caruso s'est dit impressionné par la capacité de Gemini à identifier ses faiblesses.
"L'ajout de ces contrôles de réalité ne vise pas seulement à éviter les bévues amusantes aux échecs. Il s'agit de rendre l'IA plus fiable, plus digne de confiance et plus sûre, en particulier dans les domaines critiques où les erreurs peuvent avoir des conséquences réelles", a déclaré M. Caruso à The Register.
Source(s)
Le registre | Robert Jr. Caruso sur LinkedIn
Source de l'image : Evan-Amos sur Wikimedia Commons
