J'ai testé Eustella : quelles sont les performances de cette IA open source en matière de programmation, de préparation de jeux de rôle sur table et de tâches quotidiennes ?

Ma première démarche a consisté à interroger Eustella sur elle-même. Malheureusement, l'IA n'a pas pu me dire sur quel modèle elle fonctionnait actuellement, car elle ne peut pas examiner directement sa propre architecture système ni « interroger sa propre version de modèle ou le nom exact de l'ensemble de poids ». Elle n’a pas non plus pu préciser l’emplacement de ses serveurs, expliquant que « les villes ou les centres de données exacts ne sont pas rendus publics ». Elle a toutefois révélé que les données collectées par son outil d’analyse étaient au moins stockées à Francfort.

Un moment amusant : lorsque j’ai demandé des informations sur la plateforme d’analyse PostHog, Eustella m’a d’abord renvoyé des liens Wikipédia sur les cochons (« hog » signifiant cochon domestique, truie, glouton, etc.). Après que je lui ai signalé son erreur, elle s’est immédiatement excusée, s’est corrigée et m’a fourni les informations que je recherchais réellement.

Une autre chose que j'ai tout de suite remarquée, c'est que la vitesse de réponse d'Eustella n'est pas tout à fait à la hauteur de celle de ChatGPT, Gemini, Claude et d'autres services similaires. Cela dit, elle reste suffisamment rapide pour être agréable au quotidien, et je n'ai jamais trouvé les temps d'attente frustrants.

J'ai ensuite utilisé Eustella pour poursuivre la préparation d'une session de jeu de rôle sur table. Grâce à une autre IA, je disposais déjà de trois documents : un plan général de l'aventure, un modèle de résumé de session et une première session entièrement élaborée.

C'est là qu'Eustella m'a véritablement impressionné. Lors d'une migration antérieure vers un autre chatbot IA majeur (en utilisant son offre gratuite), le modèle avait mélangé certaines parties de l'histoire et n'avait pas réussi à comprendre pleinement certains liens. Avec Eustella, la collaboration m'a semblé beaucoup plus naturelle. Elle a posé exactement les bonnes questions complémentaires lorsque des éclaircissements étaient nécessaires, a proposé des suggestions véritablement utiles et a collaboré avec moi pour développer la deuxième session de manière remarquable.

À partir d'une simple consigne et des trois documents existants, Eustella s'est immédiatement mise à planifier la session 2 sans poser de questions préliminaires superflues. Cela tient peut-être en partie à une consigne de récapitulatif bien rédigée, mais mon ancienne IA avait géré cette même situation de manière très différente. Quoi qu'il en soit, j'ai été surpris de constater à quel point certains modèles open source sont désormais performants.

Autre détail appréciable : les images peuvent être générées directement à partir d'une invite dans la fenêtre de discussion elle-même, sans avoir à cliquer sur un bouton « Créer une image » distinct.

Lors de la génération de documents — par exemple, le plan de la session 2 sous forme de fichier Markdown —, il est apparu qu’Eustella ne peut actuellement pas créer de fichiers téléchargeables. Comme l’explique l’outil lui-même, il « n’a pas d’accès direct à un système de fichiers pour générer physiquement un fichier .md et le fournir sous forme de lien de téléchargement, comme le font certains outils spécialisés ». Au lieu de cela, il ne fournit que du contenu que les utilisateurs peuvent copier manuellement.

Dans mon cas, cela ne posait pas de problème majeur, puisque la création du fichier texte par copier-coller ne prenait que quelques secondes. Néanmoins, cela pourrait être considéré comme un inconvénient par rapport aux modèles concurrents. Les images, en revanche, peuvent être téléchargées directement sous forme de fichiers.

J'ai également testé l'agent « Trip Planner » d'Eustella lors de la planification d'une escapade d'un week-end à Paris. La plateforme propose plusieurs agents spécialisés en plus du « Trip Planner », notamment un assistant d'apprentissage et un assistant de recherche, entre autres.

Eustella m'a suggéré des itinéraires touristiques à travers la ville. Bien qu’il n’ait pas pu générer de fichier GPX, il a fourni des liens vers Google Maps avec les itinéraires et les étapes intermédiaires déjà tracés. Finalement, j’ai changé mes plans et organisé les deux jours de manière spontanée, je n’ai donc jamais pu tester les recommandations en personne. À en juger par Google Maps, cependant, les itinéraires suggérés semblaient logiques et bien conçus.

Enfin, j’ai souhaité créer une petite application. Comme il s’agissait de ma première expérience avec le vibe coding, j’ai délibérément choisi des projets relativement simples : un minuteur de pause basique qui lit un fichier audio après un intervalle défini par l’utilisateur pour vous rappeler de faire une pause, et une application qui trie de grandes collections de photos dans des dossiers en fonction de leur date de création.

Eustella a mené à bien ces deux tâches sans aucun problème. Elle m’a guidé pour installer Python et les bibliothèques requises à l’aide d’instructions simples en ligne de commande, après quoi les deux applications ont fonctionné avec succès dès la première tentative.

J'ai ensuite pu demander des modifications, qui ont été mises en œuvre presque instantanément. À mesure que les projets gagnaient en complexité, des erreurs se sont parfois glissées dans le code, mais Eustella a toujours été capable de les identifier et de les corriger.

Cependant, lorsque l'on travaille avec des morceaux de code plus longs, la limite de caractères d'Eustella peut poser problème, ce qui entraîne des blocs de code incomplets. Après que je l'ai signalé, l'IA a automatiquement réagi en divisant le code en deux sections distinctes.

Après avoir soumis l'IA européenne à une série de tests assez exigeants, j'ai fini par atteindre la limite d'utilisation gratuite — par coïncidence, juste un jour après la publication de mon premier article sur Eustella. Le plus frustrant, c'est que j'ai perdu l'accès au service pendant plus de deux jours. De l'après-midi du 9 juin jusqu'au midi du 11 juin, j'ai dû patienter avant de pouvoir continuer à utiliser le service.

À ce stade, cependant, j'avais sollicité le système bien plus intensément que n'importe quelle autre IA que j'avais testée auparavant. On ignore encore comment ces limites évolueront à mesure que la base d'utilisateurs s'élargira — elle compte actuellement un peu moins de 4 000 utilisateurs et ne cesse de croître. On ne sait pas non plus s'il existera un forfait gratuit permanent, quelles restrictions il pourrait comporter, ni à quoi ressembleront finalement les futurs forfaits d'abonnement et leur tarification.

Je n’ai pas mis Eustella à l’épreuve avec des projets de programmation très complexes. Cependant, dans le cadre de mes propres cas d’utilisation, j’ai été sincèrement impressionné par ses capacités actuelles lorsqu’elle est alimentée par des modèles open source.

À aucun moment je n’ai rencontré plus de problèmes que ceux que je rencontre habituellement avec l’une des principales plateformes de chatbot — du moins lorsque j’utilise leurs offres gratuites. Les principales limites étaient les restrictions de jetons, que d’autres services imposent également, et l’impossibilité de générer des fichiers téléchargeables.

Pour la grande majorité des utilisateurs, Eustella est déjà très pratique. Les modèles open source — du moins ceux fonctionnant à une échelle que la plupart des gens ne peuvent encore pas héberger localement de manière réaliste — sont devenus des outils véritablement performants. Cela fait d’Eustella une alternative convaincante, axée sur la confidentialité et hébergée dans le cloud, face aux fournisseurs américains de cloud IA bien établis.

En fin de compte, beaucoup dépendra de la stratégie commerciale de newsroom.ai. Combien Eustella coûtera-t-elle aux utilisateurs finaux ? Ses tarifs et ses limites d'utilisation seront-ils compétitifs par rapport à ceux des leaders du marché, voire meilleurs ? Probablement pas, car les petits fournisseurs sont susceptibles de devoir faire face à des coûts d'infrastructure nettement plus élevés, en particulier pour les serveurs.

D'un autre côté, utiliser Eustella signifie que vous ne confiez pas vos données de chat à des entreprises américaines. En fait, vous ne les confiez à aucune entreprise tierce, puisque les données de chat ne sont pas exploitées à des fins commerciales. J'ai hâte de voir comment Eustella va évoluer. Pour l'instant, la version bêta est accessible, et tout le monde peut l'essayer soit via la version web https://eustella.com ou via les applications Android et iOS.