Comment un LLM fabrique une réponse, un morceau à la fois
Du texte au prochain token : un calcul de probabilités, pas une garantie de vérité.
« Le chat dort sur le… » Quelle suite proposer : « tapis », « canapé », autre chose ? Un LLM, ou grand modèle de langage, calcule des probabilités pour les fragments qui pourraient suivre. Une réponse longue se construit en répétant ce calcul.
On explique ici une famille de modèles à Transformer autorégressif : chaque fragment produit est ajouté au contexte pour calculer le suivant. Le Transformer original, publié en 2017, concernait notamment la traduction ; les modèles de génération en utilisent des variantes.
Du texte à des nombres
Le texte est d'abord découpé en tokens : des unités qui peuvent représenter un mot, un morceau de mot ou une ponctuation. Le découpage dépend d'un tokenizer, un outil avec son propre vocabulaire. Une phrase peut donc être segmentée différemment selon le modèle. Sennrich et ses collègues ont étudié l'intérêt de fragments plus petits que les mots pour traiter des mots rares.
Chaque token devient ensuite un vecteur, une liste de nombres dont les valeurs ont été apprises pendant l'entraînement. Le réseau tient aussi compte de la position des fragments : l'ordre compte. Ces nombres servent aux calculs ; ils ne forment pas une définition du mot que l'on pourrait lire directement.
Combiner les informations du contexte
L'attention compare les représentations des fragments et calcule des pondérations pour mélanger leurs informations. Dans la génération que nous décrivons, une position peut utiliser les fragments déjà présents, dont elle-même ; elle n'a pas accès aux fragments futurs.
Les transformations générales du modèle sont apprises pendant l'entraînement. Les pondérations d'attention, elles, sont calculées selon le contexte : elles peuvent changer quand tu modifies ta phrase, même si les paramètres du modèle restent fixes.
L'architecture Transformer répète ces opérations avec plusieurs couches et d'autres transformations. L'attention participe au calcul ; elle n'explique pas à elle seule tout le fonctionnement du réseau.
Calculer, choisir, recommencer
À la sortie, le modèle produit un score pour chaque token possible. Une fonction appelée softmax transforme ces scores en probabilités dont la somme vaut 1. Le logiciel peut retenir le token le plus probable ou effectuer un tirage dans cette distribution.
La température modifie cette distribution avant le tirage : une valeur plus haute diversifie généralement les choix. Elle ne rend pas la réponse plus vraie. Le token choisi est ajouté au texte, puis le modèle calcule la suite avec ce nouveau contexte.
Ainsi, une probabilité élevée concerne le choix d'un fragment, pas la vérité du fait qu'il contribue à écrire. Une phrase peut être fluide et contenir une erreur.
Essaie sur une phrase miniature
L'atelier représente ce trajet avec deux nombres par fragment et quatre candidats pour la suite. Les nombres et les découpages sont choisis à la main. Aucun grand modèle ni apprentissage ne fonctionne dans la page ; les calculs d'attention et de probabilités sont, eux, réellement effectués.
- Fragments : compare les modes mots et morceaux. Les étapes suivantes utilisent le découpage choisi.
- Attention : règle q₁ et q₂ à 0. Les pondérations deviennent égales. Mets ensuite q₁ à 0 et q₂ à 2 : le fragment « sur » reçoit davantage de poids.
- Suite : compare plusieurs tirages avec une température de 0,2, puis de 2. Chaque tirage repart de la même phrase ; l'atelier compare le prochain token, sans générer toute une réponse.
Dans les coulisses d’une phrase
Choisis un découpage, suis ses vecteurs puis les pondérations d’attention. Compare les probabilités et le tirage du prochain token. Nombres choisis à la main, calculs réels : aucun grand modèle ne tourne dans cet atelier.
Quand les paramètres changent-ils ?
Le préentraînement ajuste les paramètres sur de nombreux textes. Une adaptation peut ensuite entraîner le modèle à suivre des instructions, notamment avec des retours humains, comme dans les travaux d'Ouyang et collègues.
Pendant l'utilisation, les paramètres restent généralement fixes. Donner un document dans le contexte peut modifier la réponse sans réentraîner le modèle : c'est une distinction illustrée par les travaux sur GPT-3. Un assistant peut aussi consulter des outils si le logiciel les lui fournit ; cela ne garantit pas une vérification de chaque affirmation.
Utiliser cette explication
Vérifie les faits importants auprès de leur source, et choisis un outil proportionné au besoin : une calculatrice suffit parfois. Réfléchis aussi aux données que tu partages.
Pour suivre le calcul d'un réseau, lis la propagation avant. Pour comprendre les changements de paramètres, passe à l'apprentissage et la rétropropagation.
Sources
Sennrich et collègues (2015), Vaswani et collègues (2017), Brown et collègues (2020) et Ouyang et collègues (2022). Pour approfondir : la leçon visuelle sur l'attention de 3Blue1Brown.