AIハルシネーションとは、AIシステムが生成する、もっともらしく流暢な応答の中に、あたかも事実であるかのように提示された、捏造された不正確または検証不可能な情報が含まれる現象を指します。この用語は主に大規模言語モデル（LLM）やその他の生成AIシステムに対して使われ、テキスト、画像、出典、数値上の主張など、もっともらしく聞こえるが実際のデータに基づかない内容を生成することがあります。これらのシステムは検証済みの事実を検索するのではなく、もっともらしい出力を生成するように設計されているため、ハルシネーションはまれなバグではなく、その仕組みに本来備わっている構造的な特性です。
AIハルシネーションの仕組み
大規模言語モデルは、学習中に獲得したパターンに基づき、統計的に次に来そうなものを予測することで、トークンを一つずつ生成します。モデルには検証済み事実データベースという概念が組み込まれておらず、ある単語やフレーズの後にどの単語やフレーズが続く傾向があるかを知っているだけです。出典、日付、人物の経歴など具体的な詳細を尋ねられた場合、モデルは現実世界の事実に紐付けられる制約がないため、あたかも正解の形をしたテキストを生成してしまうことがあります。学習データがそのトピックについて乏しい場合や、質問が一般的でない場合、モデルは事実上その隙間を最良の推測で埋めることになります。
簡単な例：LLMに論文のタイトルと著者を尋ねると、実在する研究者が実際には書いていない論文に、現実的なタイトルを捏造して答えることがあります。モデルは意図的に嘘をついているわけではなく、学習したこと、つまりもっともらしい続きを生成するというタスクを実行しているだけです。検索拡張生成（RAG）、ツール使用、制約付きデコーディングは、この挙動を減らすためによく使われる手法ですが、完全に排除することはできません。
なぜ重要なのか
ハルシネーションが問題となるのは、ユーザーはAIの出力を権威あるものだと扱いやすい、特に自信に満ちた洗練された形式で提示された場合にその傾向が強いためです。医療、法曹、ジャーナリズム、ソフトウェアエンジニアリングなどの分野では、たった一つの捏造された出典や存在しないAPIが実際の被害をもたらす可能性があります。そのため、ほとんどのエンタープライズや本番環境の運用では、生成モデルと検索システム、事実確認レイヤー、人間のレビューを組み合わせています。ハルシネーションがまれな失敗ではなくデフォルトの挙動であることを理解することは、AI生成コンテンツを提供したり依存したりするすべての人にとって不可欠です。
AIハルシネーションの一般的な種類
- 事実のハルシネーション：捏造された統計、日付、歴史的出来事など、誤った事実が自信を持って述べられること。
- 捏造された出典：存在しない論文、記事、URLへの参照や、実在する研究を誤った著者に帰属させること。
- 内在的ハルシネーションと外在的ハルシネーション：内在的ハルシネーションはモデルに与えられたソース資料（提供されたドキュメントなど）と矛盾するもので、外在的ハルシネーションはどのソースによっても裏付けられない情報を持ち込むものです。
- 推論のハルシネーション：正しいように見える論理ステップに含まれる欠陥ある推論。たとえば、計算式は正しく見えても答えが間違っている場合。
ハルシネーションは、今日の生成AIに固有のトレードオフです。モデルを使役しているのと同じ流暢さと柔軟性が、もっともらしい虚偽をでっち上げる能力も与えています。モデルの出力を検証済みの最終的な真実の源ではなく、検証すべきドラフトとして扱うことが、最も信頼できる防御策であり続けています。検索された文書でモデルをグラウンディングしたり、構造化された出力を強制したり、信頼できるデータベースと照合したりするツールは、ハルシネーションの率を有意に下げることができますが、根底にある原因を取り除くことはできません。