大規模言語モデル（LLM）とは、書籍、記事、ウェブサイトなど膨大なテキストデータを学習し、人間の言語を理解・生成・推論できるように訓練された人工知能の一種です。名称に含まれる「大規模（large）」は、学習データの規模と、学習中に調整される内部パラメータの数（数十億から数百億にのぼることもある）の両方を意味しています。現代のLLMは「基盤モデル」と呼ばれる汎用的なシステムであり、一から作り直すことなく、さまざまな下流の言語タスクに適応できます。
大規模言語モデルの仕組み
ほとんどのLLMは、2017年の論文「Attention Is All You Need」で発表されたTransformer（トランスフォーマー）アーキテクチャを基盤としています。Transformerはトークン（テキストの断片）の並びを読み込み、自己注意（self-attention）と呼ばれるメカニズムを用いて、次のトークンを予測する際にどの過去のトークンが最も重要かを重み付けします。学習中、モデルは文章中の次のトークンを繰り返し推測し、実際のトークンとの違いを比較して誤差を減らすようにパラメータを更新します。十分な例を見ることで、文法や事実、推論スタイル、さらにはプログラミングの構文といったパターンを内在化します。
推論時には、LLMは一度に1トークンずつテキストを生成し、プロンプトやシステム指示に基づいて最も尤もらしい続きをサンプリングまたは選択します。簡単な例として、「The capital of France is」というプロンプトが与えられた場合、モデルは「Paris」に高い確率を割り当ててそれを出力します。同じ仕組みをスケールアップし、より多様なデータで学習させることで、1つのモデルでエッセイ執筆、翻訳、コード解説、対話が可能になります。
なぜ重要なのか
LLMは、カスタマーサポートのチャットボットからコーディング支援ツール、検索エンジンまで、現代のほとんどの対話型AIの中核を担っています。ソフトウェアが自然言語で人間とやり取りできるようにし、文章作成や要約を自動化し、技術的専門知識を持たないユーザーにも従来は専門家が必要だった機能へのアクセスを提供します。企業にとってはテキスト制作・分析コストを削減し、研究者にとっては言語や推論を研究するための柔軟な基盤を提供します。一方で、モデルの出力は学習データを反映するため、精度、偏り、著作権、エネルギー消費といった重要な問いも提起します。
主な種類と関連概念
- ベース（事前学習済み）モデル：幅広いテキストコーパスで学習された生のモデルで、さらにファインチューニングするための出発点として有用です。
- 指示・チャット調整モデル：指示や対話の例を追加学習し、ユーザーの要求により忠実に従うように調整されたベースモデルです。
- オープンウェイト型と proprietary LLM：オープンウェイトモデル（例：MetaのLlamaファミリー、Mistral）はパラメータを公開し、proprietaryモデル（例：OpenAIのGPTシリーズ、AnthropicのClaude）はAPI経由でアクセスされます。
- マルチモーダルモデル：テキストに加え、画像・音声・動画も処理できるように拡張されたLLMです。
- 小型言語モデル（SLM）：デバイス上やプライベートな環境で低コストで動作するよう設計されたコンパクトなモデルです。
LLMは本質的に言語の統計モデルですが、数十億のパラメータにスケールアップされ、公共ウェブのかなりの部分で学習されているため、驚くほど汎用的なアシスタントのように振る舞います。LLMが何であるか、そして何でないかを理解することは、これらのツールを効果的かつ批判的に活用するための第一歩です。
