過学習（オーバーフィッティング）は機械学習においてよく起こる問題で、モデルがデータに本来存在する真の関係を学ぶのではなく、訓練データに含まれるランダムなノイズや個別特有の詳細まで捉えてしまう現象です。結果として、学習したデータに対しては極めて高い性能を示す一方で、新しいデータに対しては予測精度が著しく低下します。これは暗記と真の学習の間の古典的なトレードオフです。
過学習の仕組み
訓練中、モデルはサンプルの集合に対する誤差を最小化するように内部パラメータを調整します。訓練セットのサイズや多様性に対してモデルのパラメータが多すぎる場合、あるいは訓練が長すぎる場合、データのランダムな変動を意味のある信号であるかのように扱い始めます。散布図に滑らかな曲線を当てはめることを想像してください。低い次数の多項式は全体的な傾向を捉えますが、高い次数の多項式は外れ値を含むすべての点を通り細かくうねります。そのうねった曲線が過学習状態です。傾向を学習する代わりにデータを本質的に丸暗記しているため、 wiggle から外れた新しい点はうまく予測されません。
情報理論の観点から見ると、モデルはデータが正当化できる以上の「容量」を使い、信号だけでなく信号とノイズの両方を当てはめています。訓練誤差と検証誤差のギャップが最も明確な兆候です。訓練誤差は下がり続ける一方、検証誤差は停滞するか上昇します。
なぜ重要なのか
過学習は、機械学習プロジェクトが本番環境で価値を提供できない最も一般的な理由の一つです。ベンチマークで99%の精度を出すモデルでも、そのベンチマークに過学習していれば、実世界のデータでは無意味になりえます。したがって、過学習を検出し制御することは、データ収集からデプロイまであらゆる段階に影響するモデル開発の中心的な課題です。
これは、汎化が最も重要となる分野で特に大きな意味を持ちます。医療診断、不正検知、自動運転、そしてこれまで見たことのない入力を扱わなければならないあらゆるシステムが該当します。過学習を理解することは、より多くのデータ、よりシンプルなモデル、あるいはより強い正則化が、単純に大規模なニューラルネットワークを投入するより効果的である理由も説明します。
主な兆候と一般的な対策
- 訓練と検証のギャップ：訓練データでは精度が高いものの、別の検証セットでは明らかに低くなる。
- 交差検証：k分割交差検証を用いて、異なるデータの断片にわたってモデルが汎化することを確認する。
- 正則化：L1、L2（重み減衰）、ドロップアウトなどの手法がモデルの複雑さにペナルティを課し、暗記を抑える。
- データの増量：訓練セットを拡大することで、モデルが学習できる信号が増え、暗記するインセンティブが減る。
- データ拡張：現実的なバリエーション（回転、言い換え、ノイズ）で訓練データを人工的に拡張し、頑健性を向上させる。
- 早期停止：検証誤差が上昇し始めた時点で訓練を停止し、ノイズへの適合を防ぐ。
- よりシンプルなモデル：データに対してパラメータが少ないモデルを選ぶことで、過学習できる容量を減らせる。
過学習は一度限りの修正すべきバグではなく、あらゆる実務者が継続的に管理しなければならない緊張関係です。目標は訓練データで完璧なモデルではなく、まだ出会っていないデータに対して信頼性の高い予測を行うモデルです。