Ce que l’erreur change
On compare la sortie à une cible.
La rétropropagation calcule les gradients qui guideront l’ajustement.
- 00 Prêt
- 01 Sortie
- 02 Écart
- 03 Gradient final
- 04 Gradients cachés
- 05 Mise à jour
Prêt. Avance d’une phase, ou lance tout le cycle.
Consigne : garde la cible à 1 et avance phase par phase. Puis change la cible ou le taux, et relance depuis le début. Lance ensuite un nouveau cycle et compare la perte.
Un paramètre, une correction
Gradients disponibles à la phase 03La rétropropagation calcule le gradient. La descente de gradient ajuste : gradient positif → le paramètre diminue ; gradient négatif → il augmente. Attention : le signe d’un poids et le signe de son gradient sont deux choses différentes.
Le signal qui remonte n’est pas une copie de l’erreur : c’est une sensibilité calculée, propre à chaque connexion. Un réseau ne pense pas : il ajuste des nombres.
Comprendre les formules et les limites
Chaque neurone calcule z = w₁ × a₁ + w₂ × a₂ + b puis σ(z) = 1 / (1 + e−z). Avec les entrées x₁ = 0,8 et x₂ = 0,3 : h₁ = σ(w11·x₁ + w12·x₂ + b1), h₂ = σ(w21·x₁ + w22·x₂ + b2), y = σ(v1·h₁ + v2·h₂ + bo). La perte est L = 0,5 × (y − t)².
La rétropropagation dérive L par rapport à chaque paramètre, avec les anciens poids et activations : dy = (y − t) · y · (1 − y) ; ∂L/∂v1 = dy · h₁ ; ∂L/∂v2 = dy · h₂ ; ∂L/∂bo = dy ; puis d₁ = dy · v1 · h₁ · (1 − h₁) et d₂ = dy · v2 · h₂ · (1 − h₂) ; enfin ∂L/∂w11 = d₁ · x₁, ∂L/∂w12 = d₁ · x₂, ∂L/∂b1 = d₁, ∂L/∂w21 = d₂ · x₁, ∂L/∂w22 = d₂ · x₂, ∂L/∂b2 = d₂. Tous les gradients sont calculés avant toute mise à jour, puis les neuf paramètres changent en même temps : θ ← θ − η · ∂L/∂θ, sans arrondi interne. Seuls les nombres affichés sont arrondis.
Limites : un seul exemple, pas de généralisation prétendue ; rien ne garantit que la perte baisse à chaque pas ; les réseaux réels utilisent d’autres fonctions, beaucoup plus de paramètres et des lots d’exemples. Le modèle mathématique ne pense pas et ne décide pas du monde réel.