Un modèle de fondation est un grand modèle de machine learning entraîné sur des jeux de données massifs et variés à l'aide de méthodes telles que l'apprentissage auto-supervisé. Après ce pré-entraînement généraliste, le même modèle peut être adapté, ou affiné, pour exécuter une grande variété de tâches en aval, allant de la réponse aux questions et de la traduction des langues à la génération d'images et à l'analyse des protéines. Le concept a été formalisé en 2021 par le Center for Research on Foundation Models (CRFM) de Stanford, qui a forgé ce terme pour décrire un nouveau paradigme en IA.
Comment fonctionnent les modèles de fondation
Les modèles de fondation sont généralement construits à l'aide d'une architecture de réseau de neurones, le plus souvent le transformer, et entraînés sur des centaines de milliards de mots, d'images ou d'autres points de données extraits du web ouvert, de livres, de dépôts de code et de corpus sous licence. L'entraînement s'appuie habituellement sur l'apprentissage auto-supervisé, où le modèle prédit des parties manquantes ou suivantes de sa propre entrée, supprimant ainsi le besoin d'exemples étiquetés manuellement à grande échelle. Le résultat est un modèle doté de connaissances statistiques étendues sur le langage, le code, les images ou d'autres modalités, qui encode des patterns généraux plutôt qu'une tâche unique.
Une fois le pré-entraînement terminé, le modèle devient une fondation : les développeurs l'adaptent à des applications spécifiques via des techniques telles que le fine-tuning, le prompt engineering ou la génération augmentée par récupération. Le même modèle de base peut donc alimenter un chatbot de support client, un résumé de dossiers médicaux et un assistant de code, chacun construit à partir de capacités partagées plutôt qu'entraîné de zéro.
Pourquoi c'est important
Les modèles de fondation ont remodelé l'économie de l'IA, car un seul modèle pré-entraîné peut servir des centaines d'usages en aval, réduisant considérablement le coût et les données nécessaires pour construire de nouvelles applications. Ils alimentent des systèmes largement utilisés comme les grands modèles de langage pour le texte, les modèles de diffusion pour la génération d'images et les modèles multimodaux qui traitent ensemble texte, images et audio. En parallèle, leur échelle concentre les capacités, les risques et les biais, soulevant des questions importantes en matière d'évaluation, de sécurité et de gouvernance.
Principaux types de modèles de fondation
- Grands modèles de langage (LLM) : modèles textuels tels que la famille GPT, Claude et Llama, entraînés sur des corpus textuels massifs pour générer du langage et raisonner dessus.
- Modèles de diffusion : modèles de génération d'images tels que Stable Diffusion, entraînés à inverser un processus d'ajout de bruit et à synthétiser des images à partir de prompts textuels.
- Modèles multimodaux : systèmes tels que CLIP et GPT-4V qui traitent conjointement texte, images, audio ou vidéo au sein d'une même fondation.
- Fondations spécifiques à un domaine : modèles pré-entraînés sur de la littérature scientifique, des séquences de protéines ou du code, puis adaptés à des tâches spécialisées comme la découverte de médicaments ou l'ingénierie logicielle.
En remplaçant l'ancien paradigme consistant à entraîner un modèle étroit pour chaque nouveau problème par une base unique et adaptable, les modèles de fondation sont devenus le point de départ par défaut du développement moderne en IA.