Lexique · I · Le modèle
Entraînement
Aussi : training, pré-entraînement
La phase de fabrication d'un modèle : des mois de calcul sur d'immenses volumes de données pour ajuster ses poids. Cela n'arrive qu'une fois, et c'est ce qui coûte des fortunes.
L'analogie
La fonte d'une cloche. Des semaines de préparation, une coulée à très haute température, un bronze qui fige. Ensuite, la cloche sonne des milliers de fois sans que le métal change. L'entraînement est la coulée ; chaque usage n'est qu'un tintement. Vouloir « corriger la cloche » après coup, c'est refondre, pas retoucher.
Exemple concret
Entraîner un modèle frontière mobilise des dizaines de milliers de puces spécialisées pendant des mois, pour un coût qui se chiffre en centaines de millions de dollars. C'est pourquoi si peu d'acteurs en produisent. Et c'est pourquoi la phrase commerciale « notre IA apprend en continu » mérite toujours la même question : ré-entraînez-vous réellement le modèle, ou son harnais accumule-t-il simplement des notes ?
Ce que ce n'est pas
Ce n'est pas de la mémorisation : le modèle ne stocke pas les textes qu'il a vus, il en extrait des régularités statistiques. Et ce n'est pas continu : une fois déployé, le modèle n'apprend plus rien de ses utilisateurs ; sa « date de coupure des connaissances » vient précisément de là. Ce qui semble être de la mémoire est presque toujours l'œuvre du harnais.
Souvent confondu avec
La distinction qui change la conversation.
- Inférence
- L'entraînement fabrique le modèle, une fois, pour un coût colossal ; l'inférence l'utilise, à chaque requête, pour quelques centimes. Croire qu'un modèle « apprend » de vos conversations pendant que vous l'utilisez, c'est confondre les deux : à l'usage, ses poids ne bougent plus. Vos conversations peuvent en revanche être conservées pour nourrir un entraînement futur, selon l'offre et vos réglages.
- Fine-tuning
- Le fine-tuning est une retouche : on part d'un modèle déjà entraîné et on ajuste légèrement ses poids sur des données ciblées. Utile, mais ce n'est pas refabriquer le modèle : la fonte est déjà coulée, on cisèle la surface.