Description
À chaque pas d'entraînement, un réseau de neurones doit savoir, pour chacun de ses paramètres — parfois des centaines de milliards — dans quel sens le bouger pour se tromper un peu moins. Et il calcule tout ça d'un coup, en un seul passage. L'algorithme derrière, c'est la backpropagation. Dans cette vidéo, on dissèque le CALCUL du gradient lui-même : ce que c'est, pourquoi la règle de la chaîne le rend possible, et comment PyTorch le fait automatiquement pour toi. Sans une seule équation intimidante.
(Note : ici on parle du *calcul* du gradient — la backprop. Pas de la descente de gradient, l'optimisation, qui a sa propre vidéo sur la chaîne.)
🔔 Abonne-toi à Projets IA pour les prochaines vidéos sur l'entraînement des réseaux, l'optimisation et le hands-on micrograd en français.
📚 Ressources : micrograd d'Andrej Karpathy · Stanford CS231n (notes sur la backprop) · papier original Rumelhart, Hinton & Williams (1986).
#Backpropagation #IA #DeepLearning #MachineLearning #PyTorch #ReseauxDeNeurones #Gradient #VulgarisationIA #IntelligenceArtificielle #ProjetsIA
---
## SOURCES
- **Rumelhart, Hinton & Williams (1986)** — "Learning representations by back-propagating errors", Nature. Papier fondateur.
- **Stanford CS231n** — notes de cours sur la backpropagation et les graphes de calcul (référence pédagogique de l'analogie engrenages / circuits).
- **Andrej Karpathy — micrograd / "The spelled-out intro to backpropagation"** — autograd minimal en ~100 lignes Python, construction du graphe et `backward()` à la main.
- **Documentation PyTorch Autograd** — `requires_grad`, `loss.backward()`, graphe dynamique, stockage des activations.
- **Gradient checkpointing** (mention) — `torch.utils.checkpoint`, compromis mémoire/calcul.
---
## HASHTAGS
#Backpropagation #IA #DeepLearning #MachineLearning #PyTorch #ReseauxDeNeurones #Gradient #ChainRule #Autograd #VulgarisationIA #IntelligenceArtificielle #ProjetsIA
---
## CONCEPTS MATH VULGARISÉS (compteur — plafond 5-6)
1. **Loss / fonction de coût** — un seul chiffre qui mesure l'erreur du modèle.
2. **Dérivée / pente** — de combien la sortie bouge si je bouge un peu l'entrée ; positive = monte, négative = descend.
3. **Dérivée partielle** — la pente dans une seule direction, tous les autres poids figés.
4. **Gradient** — la liste de toutes les pentes, une par poids ; boussole vers la montée la plus raide.
5. **Composition de fonctions** — fonctions emboîtées comme des poupées russes.
6. **Règle de la chaîne** — multiplier les petites pentes locales le long de la chaîne (engrenages).
(Note : ici on parle du *calcul* du gradient — la backprop. Pas de la descente de gradient, l'optimisation, qui a sa propre vidéo sur la chaîne.)
🔔 Abonne-toi à Projets IA pour les prochaines vidéos sur l'entraînement des réseaux, l'optimisation et le hands-on micrograd en français.
📚 Ressources : micrograd d'Andrej Karpathy · Stanford CS231n (notes sur la backprop) · papier original Rumelhart, Hinton & Williams (1986).
#Backpropagation #IA #DeepLearning #MachineLearning #PyTorch #ReseauxDeNeurones #Gradient #VulgarisationIA #IntelligenceArtificielle #ProjetsIA
---
## SOURCES
- **Rumelhart, Hinton & Williams (1986)** — "Learning representations by back-propagating errors", Nature. Papier fondateur.
- **Stanford CS231n** — notes de cours sur la backpropagation et les graphes de calcul (référence pédagogique de l'analogie engrenages / circuits).
- **Andrej Karpathy — micrograd / "The spelled-out intro to backpropagation"** — autograd minimal en ~100 lignes Python, construction du graphe et `backward()` à la main.
- **Documentation PyTorch Autograd** — `requires_grad`, `loss.backward()`, graphe dynamique, stockage des activations.
- **Gradient checkpointing** (mention) — `torch.utils.checkpoint`, compromis mémoire/calcul.
---
## HASHTAGS
#Backpropagation #IA #DeepLearning #MachineLearning #PyTorch #ReseauxDeNeurones #Gradient #ChainRule #Autograd #VulgarisationIA #IntelligenceArtificielle #ProjetsIA
---
## CONCEPTS MATH VULGARISÉS (compteur — plafond 5-6)
1. **Loss / fonction de coût** — un seul chiffre qui mesure l'erreur du modèle.
2. **Dérivée / pente** — de combien la sortie bouge si je bouge un peu l'entrée ; positive = monte, négative = descend.
3. **Dérivée partielle** — la pente dans une seule direction, tous les autres poids figés.
4. **Gradient** — la liste de toutes les pentes, une par poids ; boussole vers la montée la plus raide.
5. **Composition de fonctions** — fonctions emboîtées comme des poupées russes.
6. **Règle de la chaîne** — multiplier les petites pentes locales le long de la chaîne (engrenages).
Hosted on Ausha. See ausha.co/privacy-policy for more information.
