Description
Quand tu tapes une phrase dans ChatGPT, que se passe-t-il exactement dans les 0,3 secondes
qui suivent ? Tokenisation, embeddings, attention, MLP, softmax — on décortique
TOUT, dans l'ordre, étape par étape. 🧠
Dans cette vidéo, tu vas suivre le voyage d'une phrase à travers GPT-2 de bout en bout.
Comprends pourquoi les RNN — les réseaux récurrents — ont atteint leurs limites.
Découvre le mécanisme Query/Key/Value qui permet à chaque mot de contextualiser
les autres. Apprends pourquoi le masque causal empêche le modèle de "tricher".
Et maîtrise la façon dont la température, top-k et top-p contrôlent la créativité
du modèle. Sans équations. Sans jargon. Juste la mécanique, expliquée clairement.
🎯 CE QUE TU VAS MAÎTRISER
— Ce qu'est un vecteur et pourquoi c'est la brique de base de tout le système
— Pourquoi les RNN échouaient sur les textes longs
— Les 4 sous-étapes de l'embedding (tokenisation → vecteur final)
— Comment Query, Key et Value permettent à chaque mot de "chercher" dans le contexte
— Ce qu'est le masque causal et pourquoi il est indispensable
— Comment température, top-k et top-p contrôlent la créativité du modèle
ChatGPT ne "comprend" pas — il prédit le mot suivant, encore et encore,
à travers 12 couches de la même mécanique. Et maintenant tu sais exactement
comment elle fonctionne.
💬 Quelle étape t'a semblé la plus contre-intuitive ? Query/Key/Value ?
Le masque causal ? Dis-le moi en commentaire !
🔔 Abonne-toi à Projets IA pour comprendre l'IA sans bullshit, un concept par vidéo.
🔗 Ressource interactive mentionnée dans la vidéo :
Transformer Explainer — poloclub.github.io/transformer-explainer
(joue avec tes propres phrases, vois l'attention en temps réel)
🎬 Autres vidéos pour aller plus loin :
— L'Attention en détail : Q, K, V avec des schémas et des vrais chiffres
— Les Embeddings : comment l'IA encode le sens des mots
— RLHF : comment des humains ont éduqué ChatGPT après l'entraînement
#Transformer #IA #IntelligenceArtificielle #ChatGPT #GPT2 #MachineLearning
#DeepLearning #LLM #AttentionMechanism #NLP #IAExpliquée #Vulgarisation
#Tech #ProjetsIA #NeuralNetwork
qui suivent ? Tokenisation, embeddings, attention, MLP, softmax — on décortique
TOUT, dans l'ordre, étape par étape. 🧠
Dans cette vidéo, tu vas suivre le voyage d'une phrase à travers GPT-2 de bout en bout.
Comprends pourquoi les RNN — les réseaux récurrents — ont atteint leurs limites.
Découvre le mécanisme Query/Key/Value qui permet à chaque mot de contextualiser
les autres. Apprends pourquoi le masque causal empêche le modèle de "tricher".
Et maîtrise la façon dont la température, top-k et top-p contrôlent la créativité
du modèle. Sans équations. Sans jargon. Juste la mécanique, expliquée clairement.
🎯 CE QUE TU VAS MAÎTRISER
— Ce qu'est un vecteur et pourquoi c'est la brique de base de tout le système
— Pourquoi les RNN échouaient sur les textes longs
— Les 4 sous-étapes de l'embedding (tokenisation → vecteur final)
— Comment Query, Key et Value permettent à chaque mot de "chercher" dans le contexte
— Ce qu'est le masque causal et pourquoi il est indispensable
— Comment température, top-k et top-p contrôlent la créativité du modèle
ChatGPT ne "comprend" pas — il prédit le mot suivant, encore et encore,
à travers 12 couches de la même mécanique. Et maintenant tu sais exactement
comment elle fonctionne.
💬 Quelle étape t'a semblé la plus contre-intuitive ? Query/Key/Value ?
Le masque causal ? Dis-le moi en commentaire !
🔔 Abonne-toi à Projets IA pour comprendre l'IA sans bullshit, un concept par vidéo.
🔗 Ressource interactive mentionnée dans la vidéo :
Transformer Explainer — poloclub.github.io/transformer-explainer
(joue avec tes propres phrases, vois l'attention en temps réel)
🎬 Autres vidéos pour aller plus loin :
— L'Attention en détail : Q, K, V avec des schémas et des vrais chiffres
— Les Embeddings : comment l'IA encode le sens des mots
— RLHF : comment des humains ont éduqué ChatGPT après l'entraînement
#Transformer #IA #IntelligenceArtificielle #ChatGPT #GPT2 #MachineLearning
#DeepLearning #LLM #AttentionMechanism #NLP #IAExpliquée #Vulgarisation
#Tech #ProjetsIA #NeuralNetwork
Hosted on Ausha. See ausha.co/privacy-policy for more information.
