Description
🔧 Adapter un LLM à TES données pour 10€ au lieu de 100 000€. Et pourquoi 9 fois sur 10, RAG suffit.
Dans cette vidéo, on décortique :
— Pourquoi RAG est presque toujours le bon premier réflexe (et quand non)
— Comment fonctionne LoRA — geler le modèle, ajouter 2 petites matrices, entraîner 0,2 % des paramètres
— Pourquoi QLoRA permet de fine-tuner Llama 70B sur un GPU consumer à 1500€
— Quand le full fine-tuning reste pertinent (spoiler : rarement)
— Une matrice de décision claire : RAG / QLoRA / LoRA / Full FT selon ton cas
📚 Sources
— LoRA: Low-Rank Adaptation of Large Language Models — Hu et al., Microsoft Research 2021
— QLoRA: Efficient Finetuning of Quantized LLMs — Dettmers et al., U. Washington 2023
— Hugging Face PEFT library — github.com/huggingface/peft
— Guides Axolotl
👉 Projets IA — pour comprendre l'IA sans bullshit, un concept par vidéo.
🔔 Abonne-toi !
#IntelligenceArtificielle #MachineLearning #DeepLearning #FineTuning #LoRA #QLoRA #LLM #Llama #HuggingFace #IAExpliquée #ProjetsIA #IA
Dans cette vidéo, on décortique :
— Pourquoi RAG est presque toujours le bon premier réflexe (et quand non)
— Comment fonctionne LoRA — geler le modèle, ajouter 2 petites matrices, entraîner 0,2 % des paramètres
— Pourquoi QLoRA permet de fine-tuner Llama 70B sur un GPU consumer à 1500€
— Quand le full fine-tuning reste pertinent (spoiler : rarement)
— Une matrice de décision claire : RAG / QLoRA / LoRA / Full FT selon ton cas
📚 Sources
— LoRA: Low-Rank Adaptation of Large Language Models — Hu et al., Microsoft Research 2021
— QLoRA: Efficient Finetuning of Quantized LLMs — Dettmers et al., U. Washington 2023
— Hugging Face PEFT library — github.com/huggingface/peft
— Guides Axolotl
👉 Projets IA — pour comprendre l'IA sans bullshit, un concept par vidéo.
🔔 Abonne-toi !
#IntelligenceArtificielle #MachineLearning #DeepLearning #FineTuning #LoRA #QLoRA #LLM #Llama #HuggingFace #IAExpliquée #ProjetsIA #IA
Hosted on Ausha. See ausha.co/privacy-policy for more information.
