Tokens et fenêtre de contexte
Les modèles de langage ne travaillent ni avec des caractères ni avec des mots, mais avec des tokens. Le nombre de tokens détermine à la fois le prix et la quantité de texte que le modèle peut prendre en compte en même temps. Ce que cela signifie en pratique et pourquoi les réponses peuvent se dégrader dans une longue conversation.
Qu’est-ce qu’un token
Avant d’être traité, le texte est découpé en tokens – de courts morceaux de texte. Un mot anglais fréquent correspond généralement à un token, un mot plus long ou plus rare se découpe en plusieurs tokens. Les textes dans d’autres langues que l’anglais – le français aussi, avec ses accents et ses mots plus longs – se découpent généralement en davantage de tokens qu’un texte anglais de même longueur. Le code est lui aussi découpé en tokens, y compris les espaces, les parenthèses et l’indentation.
Le découpage exact dépend du modèle. Comme estimation grossière pour l’anglais, on indique souvent environ 4 caractères par token ; dans d’autres langues, comptez davantage de tokens.
La fenêtre de contexte
La fenêtre de contexte est le nombre maximal de tokens avec lequel le modèle travaille dans une seule requête. Tout en fait partie : les instructions de l’application, toute la conversation jusqu’ici, les fichiers insérés et la réponse que le modèle est en train d’écrire. La taille de la fenêtre dépend du modèle et ne cesse d’augmenter – dans les modèles actuels (état en octobre 2026), ce sont des centaines de milliers de tokens, jusqu’à un million – les modèles Claude actuels, y compris le plus petit Haiku 5.5, ont 1 million de tokens, l’ancien Haiku 4.5 en a 200 000.
Que se passe-t-il quand la fenêtre est pleine
- L’application doit laisser quelque chose de côté – en général la partie la plus ancienne de la conversation – ou la remplacer par un résumé. Le modèle « oublie » alors les détails du début de la conversation.
- Même avant que la fenêtre soit pleine, avec un texte très long, l’attention portée aux détails peut baisser, et les informations cachées au milieu passent plus facilement inaperçues.
Conseils pratiques
- Pour une nouvelle tâche, commencez une nouvelle conversation. Les anciens messages sans rapport prennent de la place et peuvent induire le modèle en erreur.
- N’insérez que ce qui est nécessaire : au lieu de tout le projet, seulement les fichiers concernés par la tâche ; au lieu de tout le journal, seulement le message d’erreur et quelques lignes autour.
- Écrivez les instructions importantes de manière courte et claire. Dans une longue conversation, vous pouvez tout à fait les répéter.
- Avec une API payante, vous payez les tokens en entrée comme en sortie. Le modèle ne retient rien entre les requêtes, c’est pourquoi toute la conversation est renvoyée à chaque question – une longue conversation coûte donc de plus en plus cher. Vous économisez une partie du prix si le début répétitif du prompt est mis en cache (prompt caching), à condition que le fournisseur le propose.
Articles connexes :
Qu’est-ce qu’un modèle de langage et comment fonctionne-t-il
Utiliser une API d’IA sur un site de façon sûre et économique