Lexique · I · Le modèle
Poids
Aussi : paramètres, weights
Les milliards de paramètres numériques ajustés pendant l'entraînement : le contenu même du modèle. Qui détient le fichier des poids détient le modèle.
L'analogie
Dans un cerveau, le savoir n'est écrit nulle part en toutes lettres : il est réparti dans la force de milliards de connexions entre neurones. Les poids jouent ce rôle : chacun règle l'influence d'une connexion du réseau. Le « savoir » du modèle n'est dans aucun poids en particulier : il est dans leur configuration d'ensemble, façonnée par l'entraînement.
Exemple concret
Quand Meta « publie Llama », elle met en ligne un fichier de poids. C'est tout, et c'est l'essentiel. À l'inverse, le vol de poids est le cauchemar de sécurité des laboratoires : copier ce fichier, c'est emporter l'actif qui a coûté des centaines de millions à fabriquer. D'où des poids gardés comme des secrets industriels chez les uns, publiés comme stratégie de diffusion chez les autres.
Ce que ce n'est pas
Ce n'est pas une base de données : on ne peut pas y « chercher » un document, ni en effacer une information précise, ce qui explique la difficulté du « droit à l'oubli » appliqué aux modèles. Ce n'est pas du code que l'on corrige : pour changer durablement le comportement d'un modèle, on ré-entraîne ou on ajuste, on n'édite pas une ligne.
Souvent confondu avec
La distinction qui change la conversation.
- Code source
- Le code d'un logiciel se lit, s'audite et se corrige ligne à ligne. Les poids sont des milliards de nombres illisibles pour un humain : on ne les lit pas, on observe leur comportement. C'est pourquoi un modèle ne se « débogue » pas comme un programme.