Lexique · II · L'accès
Token
Aussi : jeton de texte
L'unité de compte du modèle : un fragment de texte d'environ trois quarts de mot en moyenne. Tout se mesure en tokens : la longueur des documents, les limites, et la facture.
L'analogie
Le taximètre. La course ne se facture ni au trajet ni à la minute pleine : elle se découpe en unités qui défilent. Le modèle fait pareil avec le texte : chaque fragment lu et chaque fragment produit fait tourner le compteur. Comprendre le token, c'est comprendre pourquoi « pose ta question en une ligne » et « colle-lui les 400 pages » n'ont pas le même prix.
Exemple concret
« Bonjour, pouvez-vous résumer ce document ? » pèse une dizaine de tokens. Un contrat de quarante pages en pèse environ trente mille. Pour chiffrer un cas d'usage, on ne compte donc ni les requêtes ni les pages, mais les tokens qui entrent et qui sortent. C'est exactement ainsi que les fournisseurs affichent leurs prix, au million de tokens.
Ce que ce n'est pas
Ce n'est ni un mot, ni un caractère, ni une syllabe : le découpage est statistique, pas grammatical. Ce n'est pas non plus une unité de sens : le modèle ne « comprend » pas token par token, il traite le tout. Et ce n'est pas un détail technique : limites de contexte, latence et coûts se raisonnent tous dans cette unité.
Souvent confondu avec
La distinction qui change la conversation.
- Mot
- Le modèle ne lit pas des mots : il découpe le texte en fragments. « Anticonstitutionnellement » vaut plusieurs tokens, « de » un seul. Devis, quotas et limites se chiffrent en tokens ; les convertir de tête en « mots » fausse les ordres de grandeur : d'un tiers en anglais, et davantage encore en français, que les modèles découpent moins efficacement.
- Jeton d'accès (token d'API)
- Même mot, autre monde : le jeton d'accès est une clé de sécurité qui prouve une identité auprès d'un service. Le token du modèle est une unité de texte. Dans une réunion sur l'IA, les deux circulent ; précisez toujours duquel vous parlez.