L'apprentissage par renforcement (RL, pour Reinforcement Learning) est une branche du machine learning dans laquelle un agent apprend à prendre des décisions en interagissant avec un environnement. Après chaque action, l'agent reçoit une récompense (ou une pénalité) numérique et met à jour son comportement afin de privilégier les actions qui mènent aux meilleurs résultats à long terme. Contrairement à l'apprentissage supervisé, l'agent ne reçoit pas d'exemples étiquetés de bonnes réponses — il doit découvrir des stratégies efficaces par essais et erreurs.
Comment fonctionne l'apprentissage par renforcement
À chaque étape, l'agent observe l'état courant de l'environnement, choisit une action parmi les options disponibles, puis reçoit une récompense ainsi que l'état suivant. L'objectif est d'apprendre une politique, c'est-à-dire essentiellement un mapping des états vers les actions, qui maximise la somme attendue des récompenses futures. Des techniques comme le Q-learning estiment la valeur de chaque action dans chaque état, tandis que les méthodes de gradient de politique ajustent directement la politique en fonction des actions qui ont tendance à produire des récompenses élevées. Les approches modernes combinent le RL avec des réseaux de neurones profonds — comme dans les Deep Q-Networks (DQN) — afin de traiter des problèmes avec des espaces d'états très grands ou continus, comme l'entrée vidéo brute.
Pourquoi c'est important
L'apprentissage par renforcement est à l'origine de nombreuses percées très visibles dans l'IA, des systèmes de jeu comme AlphaGo et AlphaZero à l'étape de fine-tuning derrière les assistants modernes basés sur de grands modèles de langage, via des méthodes comme le RLHF (Reinforcement Learning from Human Feedback, ou apprentissage par renforcement à partir de retours humains). Il est également utilisé en robotique, dans la conduite autonome, les systèmes de recommandation, l'optimisation de la chaîne logistique et la planification de ressources, partout où un système doit prendre une séquence de décisions dont les effets se déploient dans le temps et où la meilleure stratégie à long terme n'est pas évidente à l'avance.
Principaux types
- RL sans modèle : l'agent apprend directement à partir de l'expérience sans construire de modèle interne de l'environnement (par ex. Q-learning, PPO).
- RL basé sur un modèle : l'agent apprend un modèle du fonctionnement de l'environnement et planifie ses actions à l'aide de ce modèle.
- Méthodes de gradient de politique : optimisent directement la politique, utiles pour les actions continues et les politiques stochastiques.
- RL multi-agents : plusieurs agents apprennent simultanément dans un environnement partagé, utile pour la théorie des jeux et la coordination.
L'apprentissage par renforcement demeure l'un des cadres les plus flexibles pour la prise de décision séquentielle, et il est de plus en plus le pont entre les modèles de reconnaissance de motifs et les systèmes qui agissent de manière autonome dans le monde réel. La référence canonique est l'ouvrage de Sutton et Barto, « Reinforcement Learning: An Introduction ».