Un million de tokens, c'est moins de mots que vous ne le pensez : nous l'avons mesuré

Cette objection revient immanquablement dès que l’on évoque un « deuxième cerveau ». Les modèles linguistiques actuels sont capables de traiter un million de tokens, voire davantage pour certains. Alors pourquoi trier, étiqueter et relier des notes alors que l’on peut simplement confier l’ensemble à l’IA ?

La réponse tient à un chiffre que presque personne ne vérifie. Les tokens sont les segments dans lesquels un modèle divise le texte, et constituent l’unité de facturation. La quantité de texte que représente un million de tokens dépend de la langue et de la méthode utilisée pour effectuer cette division, c’est-à-dire du tokeniseur. Nous avons donc procédé à une mesure plutôt que de nous contenter d’une estimation.

Comment nous avons procédé

Nous sommes partis de deux textes au contenu identique : les versions allemande et anglaise d’un de nos propres articles de magazine. La version allemande comptait 1 134 mots, et la version anglaise 1 276 mots. Ces deux chiffres ne concernent que le corps du texte et les sous-titres, sans compter les légendes ni la liste des sources. Tout ce qui se trouve entre deux espaces est compté comme un mot. Les deux versions ont été traitées à l’aide de la bibliothèque js-tiktoken, version 1.0.20, une fois avec l’encodage o200k_base qu’OpenAI utilise pour ses modèles actuels, et une fois avec cl100k_base, l’encodage plus ancien utilisé par GPT-4 et GPT-3.5.

La règle empirique largement citée est qu’un million de tokens équivaut à 750 000 mots. Pour l’anglais, cette estimation est trop prudente ; pour l’allemand, elle est nettement trop généreuse. La comparaison entre les deux encodages est plus révélatrice. Le même texte en allemand compte 1 747 tokens avec l’un et 2 088 avec l’autre. Un écart de vingt pour cent, uniquement dû à une méthode de segmentation différente. Le texte en anglais est resté pratiquement inchangé, avec 1 200 contre 1 202 tokens par mot. Les progrès réalisés au niveau des tokeniseurs ont presque exclusivement concerné les langues autres que l’anglais.

Pour Claude et Gemini, ce même test n’est pas possible, car Anthropic et Google ne publient pas leurs tokeniseurs. Anthropic précise toutefois dans sa documentation tarifaire que Claude 4.7 et les modèles plus récents utilisent une méthode différente qui génère environ 30 % de tokens en plus pour un même texte par rapport à leurs prédécesseurs. Les chiffres ci-dessous constituent donc un ordre de grandeur, et non une estimation précise.

Ce que cela signifie pour un ensemble de données réel

Nous avons analysé une collection qui s’est enrichie au fil des ans : environ 470 notes, soit, par extrapolation, entre 350 000 et 400 000 mots. Ce volume tient tout juste dans une fenêtre de contexte, et il ne cesse de croître.

Mais une fenêtre de contexte est réinitialisée et facturée à chaque nouvelle question. Le modèle n’a pas de mémoire. Il recommence à lire depuis le début à chaque fois. Avec GPT-5.6 Sol, un million de tokens d’entrée coûte cinq dollars américains, et à partir de 272 000 tokens dans une seule requête, le coût passe à dix dollars. 400 000 mots allemands correspondent à environ 616 000 tokens, ce qui les place dans la tranche tarifaire la plus élevée, soit 6,16 dollars. Par question. Dix questions en un après-midi représentent environ 60 dollars. Notion Business, l’abonnement le plus cher de notre comparatif, coûte 19,50 euros par utilisateur et par mois.

Il y a deux bémols. Ce calcul concerne l’API, l’interface que les développeurs utilisent pour s’adresser directement à un modèle, et non les abonnements grand public. Les utilisateurs de ChatGPT Plus ou de Claude Pro ne paient pas au jeton, mais finissent par atteindre des limites d’utilisation. Et il y a la mise en cache. En cas d’accès au cache, OpenAI et Anthropic ne facturent qu’un dixième du prix de l’entrée, ce qui ramène les 6,16 $ à 62 centimes. Selon les paramètres, toutefois, le cache ne dure que de cinq minutes à une heure.

Pourquoi le tri reste-t-il rentable ?

Le fait n’est pas qu’un système de notes serait moins coûteux que l’IA. Il permet de réduire la pile de données qui doit être intégrée au contexte. Une recherche en texte intégral efficace, ou un index sémantique qui effectue des recherches par sens plutôt que par mot-clé, fournit au modèle dix notes pertinentes au lieu de quatre cents.

Cela transforme 616 000 tokens en environ 9 000 et 6,16 $ en cinq cents. Pour les tokens, cela représente un rapport de 67 pour 1 ; pour le prix, de 123 pour 1, car cette petite requête reste en dessous du seuil coûteux des 272 000 tokens. À cela s’ajoute un effet que nul barème tarifaire ne reflète. Un modèle qui analyse dix notes pertinentes apporte des réponses plus précises qu’un modèle qui en passe quatre cents au crible.

La véritable limite réside rarement dans la fenêtre de contexte

Si vous ne passez pas par l’API, vous vous heurtez de toute façon à un autre obstacle bien plus tôt. Avec ChatGPT, le nombre de fichiers par projet dépend de la formule choisie : cinq avec la formule gratuite, 25 avec les formules Go et Plus, et 40 avec les formules Pro, Business et les formules éducatives. Gemini Notebook autorise 50 sources par carnet de notes avec la formule Standard gratuite, 100 avec la formule Plus et 300 avec la formule Pro. Une seule source peut contenir jusqu’à 500 000 mots.

Ce qui frappe, c’est le manque de cohérence de ces chiffres. OpenAI indique 25 fichiers pour la formule Plus sur sa page d’aide consacrée aux projets, mais 20 dans la section d’aide relative au téléchargement de fichiers, alors que ces deux pages ont été mises à jour la même semaine. Si vous comptez vous y fier, vérifiez le nombre dans votre propre compte plutôt que de vous fier à la documentation.

Cela change la donne. Ce qui détermine si une collection peut faire l’objet d’une requête, ce n’est pas le million de tokens, mais le fait que l’outil l’accepte ou non. Et c’est précisément là que votre propre système de notes prend tout son sens, car il ne sélectionne pas ce qui y entre, mais uniquement ce qui en ressort.

Ce qui plaide contre l’idée dans son ensemble

Un « deuxième cerveau » demande tout de même un certain effort, et ces programmes présentent des particularités qu’il convient de connaître avant de vous lancer. Obsidian et Joplin fonctionnent également sur les téléphones, mais ils ne se synchronisent pas en arrière-plan. Obsidian répond à cette question dans sa propre FAQ sur la synchronisation par un « non » catégorique. Les fichiers ne se synchronisent que lorsque le programme est en cours d’exécution. Sur un ordinateur, on s’en rend à peine compte, car l’application est généralement ouverte. Mais si vous rédigez une note lors de vos déplacements, puis fermez l’application d’un geste, celle-ci n’arrivera pas sur votre ordinateur tant que vous n’aurez pas rouvert l’application sur votre téléphone. Cela s’applique à Obsidian Sync, le service interne payant. Si vous conservez le dossier dans iCloud ou que vous le synchronisez avec Syncthing à la place, ce service s’en charge pour vous. Notion limite la taille des fichiers individuels à 5 Mo dans le forfait gratuit. Et avec Gemini Notebook, Google ne vous offre aucune possibilité de retour en arrière. Supprimez un carnet de notes et les sources disparaissent avec lui. Seules les conversations Gemini réapparaissent dans la liste des discussions.

Le meilleur conseil est donc de rassembler des notes pendant deux semaines, puis de prendre une décision. Si vous vous retrouvez avec trente notes, vous n’avez pas besoin d’un système, mais simplement d’un dossier. Si vous en avez trois cents, vous constaterez par vous-même ce qui manque lorsque vous effectuerez une recherche.