Un grand modèle de langage (LLM) est un type d'intelligence artificielle entraîné sur d'immenses collections de textes, comme des livres, des articles et des sites web, afin de comprendre, générer et raisonner sur le langage humain. Le terme « large » (grand) fait référence à la fois à la taille des données d'entraînement et au nombre de paramètres internes, souvent des milliards, voire des centaines de milliards, que le modèle ajuste au cours de l'entraînement. Les LLM modernes sont ce qu'on appelle un modèle de fondation : un système à usage général qui peut être adapté à de nombreuses tâches linguistiques en aval sans être reconstruit à partir de zéro.
Comment fonctionne un grand modèle de langage
La plupart des LLM reposent sur l'architecture transformer, présentée dans l'article de 2017 « Attention Is All You Need ». Un transformer lit une séquence de tokens (morceaux de texte) et utilise un mécanisme appelé self-attention (auto-attention) pour déterminer quels tokens précédents comptent le plus lorsqu'il prédit le suivant. Pendant l'entraînement, le modèle devine à plusieurs reprises le prochain token d'un passage, compare sa supposition au token réel et ajuste ses paramètres pour réduire l'erreur. Après avoir vu suffisamment d'exemples, le modèle intériorise des schémas de grammaire, des faits, des styles de raisonnement et même la syntaxe de programmation.
Au moment de l'inférence, le LLM génère du texte un token à la fois, en échantillonnant ou en sélectionnant la continuation la plus probable en fonction du prompt et des éventuelles instructions système. Un exemple simple : à partir du prompt « La capitale de la France est », le modèle attribue une probabilité élevée à « Paris » et le produit. Ce même mécanisme, mis à l'échelle et entraîné sur des données plus variées, permet à un seul modèle d'écrire des essais, de traduire des langues, d'expliquer du code et de tenir une conversation.
Pourquoi c'est important
Les LLM sont le moteur de la plupart des IA conversationnelles modernes, des chatbots de support client aux assistants de code et aux moteurs de recherche. Ils permettent aux logiciels d'interagir avec les personnes en langage naturel, d'automatiser la rédaction et le résumé, et offrent aux utilisateurs non techniques l'accès à des capacités qui nécessitaient auparavant des spécialistes. Pour les entreprises, les LLM réduisent le coût de production et d'analyse de texte ; pour les chercheurs, ils fournissent un substrat flexible pour étudier le langage et le raisonnement. Ils soulèvent également des questions importantes sur la précision, les biais, les droits d'auteur et la consommation d'énergie, car les résultats reflètent les données sur lesquelles le modèle a été entraîné.
Types clés et concepts associés
- Modèles de base (préalablement entraînés) : Modèles bruts entraînés sur de vastes corpus de texte, utiles comme point de départ pour un affinage ultérieur.
- Modèles optimisés pour les instructions ou le dialogue : Modèles de base entraînés davantage avec des exemples d'instructions et de dialogues afin qu'ils suivent les demandes des utilisateurs de façon plus fiable.
- LLM à poids ouverts vs. propriétaires : Les modèles à poids ouverts (par exemple, la famille Llama de Meta, Mistral) publient leurs paramètres ; les modèles propriétaires (par exemple, la série GPT d'OpenAI, Claude d'Anthropic) sont accessibles via des API.
- Modèles multimodaux : LLM étendus pour traiter aussi des images, de l'audio ou de la vidéo en plus du texte.
- Petits modèles de langage (SLM) : Modèles compacts conçus pour fonctionner localement sur des appareils ou dans des environnements privés à moindre coût.
Un LLM est en définitive un modèle statistique du langage, mais parce qu'il a été mis à l'échelle jusqu'à des milliards de paramètres et entraîné sur une part importante du web public, il se comporte comme un assistant remarquablement polyvalent. Comprendre ce qu'est un LLM, et ce qu'il n'est pas, est la première étape pour utiliser ces outils efficacement et avec esprit critique.