Dans les coulisses d’une phrase
Modèle miniature : nombres choisis à la main, sans modèle IA en ligne.
1 · Découper la phrase
Un modèle lit la phrase en petits morceaux appelés tokens. Choisis un mode, clique sur un fragment pour voir sa position.
« Le chat dort sur le » Aucun fragment sélectionné.
En savoir plus
Un tokenizer découpe le texte selon son vocabulaire. Les deux découpages de cet atelier sont choisis pour l’exemple ; ils ne reproduisent pas un tokenizer réel.
Essaie les deux modes : les étapes suivantes suivent le mode choisi.
2 · Chaque fragment devient des nombres
Chaque fragment actif du mode choisi devient un vecteur de deux nombres. Clique sur un fragment pour le surligner.
Aucun fragment sélectionné.
Plusieurs fragments partagent le même point (tokens répétés, mêmes nombres) ; les labels sont décalés pour rester lisibles.
En savoir plus
Ces coordonnées 2D sont des nombres choisis à la main, pas une définition du sens, et aucun encodage de position n’est implémenté : les fragments répétés partagent le même vecteur. Un vrai LLM utilise des représentations apprises et une information de position, sur des milliers de dimensions.
Change de mode ci-dessus en revenant à l’étape 1, puis compare les points.
3 · L’attention regarde en arrière
Pour prédire la suite, le modèle compare une requête q aux fragments déjà écrits, jamais aux mots futurs : c’est l’attention causale. Bouge q et regarde les poids changer.
Vecteur de contexte c =
Formules et limites
Mets q₁ et q₂ à 0 : l’attention devient uniforme (5 ou 7 poids selon le mode).
4 · Choisir le mot suivant
À partir du contexte c, chaque candidat reçoit un score (un logit), converti en probabilités. La température T règle le côté tranché du choix.
c =
« Le chat dort sur le … » Aucun tirage effectué.
Formules et limites
Compare les tirages à T = 0,2 puis à T = 2.
« Une réponse plausible n’est pas une preuve. »