強化学習（RL）は機械学習の一分野であり、エージェントが環境と相互作用しながら意思決定を学習します。エージェントは各行動の後に数値による報酬（または罰）を受け取り、より良い長期的結果につながる行動を優先するように自身の振る舞いを更新します。教師あり学習とは異なり、エージェントには正解のラベル付き例が与えられるわけではなく、試行錯誤を通じて有効な戦略を自分で発見しなければなりません。
強化学習の仕組み
各ステップで、エージェントは環境の現在の状態を観測し、利用可能な選択肢から行動を選び、報酬と次の状態を受け取ります。目標は、本質的に状態から行動へのマッピングである方策を学習し、将来の報酬の期待合計を最大化することです。Q学習のような手法は各状態における各行動の価値を推定し、方策勾配法は高い報酬を生みやすい行動に基づいて方策を直接調整します。現代のアプローチでは、Deep Q-Network（DQN）のように、強化学習とディープニューラルネットワークを組み合わせて、生の動画入力など非常に大規模または連続的な状態空間を持つ問題に対応します。
なぜ重要か
強化学習はAIにおける最も目に見える多くのブレークスルーを支えており、AlphaGoやAlphaZeroのようなゲームプレイシステムから、RLHF（人間からのフィードバックによる強化学習）のような手法を介した現代の大規模言語モデルアシスタントの微調整ステップにまで及びます。また、ロボット工学、自動運転、レコメンドシステム、サプライチェーンの最適化、リソーススケジューリングなど、効果が時間をかけて現れる一連の意思決定をシステムが下す必要があり、事前に最良の長期的戦略が明らかでないあらゆる場面で利用されています。
主要な種類
- モデルフリー強化学習：環境の内部モデルを構築せず、エージェントが経験から直接学習する（例：Q学習、PPO）。
- モデルベース強化学習：環境がどのように機能するかのモデルを学習し、そのモデルを用いて行動を計画する。
- 方策勾配法：方策を直接最適化し、連続的な行動や確率的な方策に役立つ。
- マルチエージェント強化学習：複数のエージェントが共有環境内で同時に学習し、ゲーム理論や協調に役立つ。
強化学習は逐次的な意思決定のための最も柔軟なフレームワークの一つであり続けており、パターン認識モデルと現実世界の中で自律的に行動するシステムとの間の橋渡しとしての役割をますます高めています。標準的な参考書籍はSutton and Barto著『Reinforcement Learning: An Introduction』です。