🥷 Aperçu du Projet
Finetuning Ninja est un projet pratique conçu pour développer une intuition profonde et des compétences concrètes dans l’entraînement des Grands Modèles de Langage (LLMs). De la configuration de l’environnement de laboratoire au déploiement de modèles de raisonnement, ce dépôt vous guide à travers chaque étape critique.
Il couvre le cycle de vie complet :
| Session | Description |
|---|---|
| Fondamentaux | Comprendre le paysage du finetuning et le finetuning supervisé (SFT). |
| Profondeur | Comprendre les mécanismes internes des modèles. |
| Efficacité | Utiliser le Parameter-Efficient Finetuning (PEFT) avec LoRA et QLoRA. |
| Alignement | Aligner les modèles avec les préférences humaines via RLHF (Apprentissage par renforcement à partir de rétroaction humaine). |
| Raisonnement | Explorer des techniques avancées comme GRPO (Group Relative Policy Optimization). |
| Multimodal | Étendre les capacités à la vision et à l’audio. |
| Production | Meilleures pratiques pour le déploiement de LLM. |
Le projet met l’accent non seulement sur comment exécuter le code, mais aussi sur pourquoi cela fonctionne, fournissant l’intuition et la théorie nécessaires pour devenir un véritable praticien.
🔗 Liens
📝 Articles Liés
Suivez ma progression à travers ces leçons hebdomadaires détaillées :
| Semaine | Description |
|---|---|
| Semaine 1 | Le Paysage du Finetuning |
| Semaine 1 (Lab) | Lab 1 : Stratégies Modernes de Pré-entraînement |