L'apprentissage zero-shot (ZSL) est un paradigme d'apprentissage automatique dans lequel un modèle est censé faire des prédictions précises pour des catégories ou des tâches qu'il n'a jamais vues pendant l'entraînement. Plutôt que d'apprendre chaque nouvelle classe à partir d'exemples étiquetés, le modèle s'appuie sur des informations auxiliaires — comme des descriptions d'attributs, des noms de classes ou des instructions en langage naturel — pour généraliser à des cas inconnus. Cette approche est devenue centrale dans la façon dont les modèles de fondation modernes fonctionnent, car elle permet à un seul modèle de gérer des milliers de tâches sans réentraînement.
Comment fonctionne l'apprentissage zero-shot
L'idée centrale est d'apprendre un espace sémantique partagé dans lequel les classes vues et non vues peuvent être représentées. Pendant l'entraînement, le modèle associe des exemples étiquetés à des informations descriptives (par exemple, une image étiquetée « zèbre » est associée au texte « un animal semblable à un cheval avec des rayures noires et blanches »). Il apprend ensuite à aligner les deux modalités afin qu'au moment de l'inférence, une entrée non étiquetée puisse être associée à la description textuelle ou attributaire la plus proche — y compris des descriptions de classes sur lesquelles il n'a jamais été entraîné.
Les grands modèles de langage et vision-langage tels que CLIP, GPT et Gemini poussent cette idée encore plus loin. Ils sont entraînés sur de vastes corpus de données appariées image-texte ou instruction-réponse, puis sollicités à l'inférence avec une description de la sortie souhaitée. Un exemple simple : avec l'invite « Classifie cet avis comme positif, négatif ou indifférent », un modèle qui n'a jamais été affiné sur des données de sentiment peut tout de même produire une réponse utile, car le langage de l'invite lui-même fournit les définitions de classes manquantes. Pour un traitement plus formel, consultez l'article original de NeurIPS 2009 par Palatucci et al. qui a contribué à définir ce cadre.
Pourquoi c'est important
L'apprentissage zero-shot adresse l'un des goulets d'étranglement les plus coûteux de l'IA appliquée : les données étiquetées. Collecter et annoter des exemples pour chaque nouvelle classe, langue ou tâche est lent et souvent peu pratique, en particulier dans les domaines à longue traîne comme les espèces rares, les défauts industriels niches ou les langues à faibles ressources. En s'appuyant sur la structure partagée apprise à partir d'autres exemples, les méthodes zero-shot peuvent offrir des performances exploitables dans ces contextes sans entraînement supplémentaire.
Cela rend aussi les produits plus flexibles. Un seul classificateur d'images peut être orienté vers une nouvelle catégorie à l'exécution en modifiant l'invite textuelle, un seul modèle de traduction peut changer de langue sans réentraînement, et un seul assistant peut adopter de nouveaux personas ou formats à la demande. Cette généralité est une raison majeure pour laquelle CLIP et les modèles vision-langage similaires sont devenus des composants par défaut dans les pipelines modernes de vision par ordinateur.
Types principaux
- ZSL traditionnel basé sur les attributs : chaque classe est décrite par un vecteur d'attributs conçu manuellement (par exemple, « a des ailes », « vit dans l'eau »), et le modèle apprend à prédire ces attributs pour des classes non vues.
- ZSL basé sur les embeddings : les classes sont représentées comme des embeddings dans un espace partagé (souvent issus de vecteurs de mots ou de modèles de langage), et les nouvelles classes sont appariées par similarité avec les embeddings d'entrée prédits.
- ZSL génératif : un modèle génératif synthétise des caractéristiques artificielles pour les classes non vues, transformant ainsi le zero-shot en un problème supervisé classique.
- ZSL basé sur les prompts avec des modèles de fondation : la spécification de la tâche est fournie en langage naturel ; le modèle interprète l'invite et répond sans aucune mise à jour de paramètres.
L'apprentissage zero-shot n'est pas de la magie — ses performances restent en deçà de celles des modèles entièrement supervisés lorsque des données étiquetées abondantes existent, et il peut échouer lorsque les descriptions auxiliaires sont ambiguës ou trompeuses. Malgré tout, c'est désormais une attente par défaut pour les grands systèmes d'IA, et la capacité à généraliser à de nouvelles tâches à partir d'instructions seules est un trait définissant des modèles les plus performants d'aujourd'hui.