Большая языковая модель (LLM) — это тип искусственного интеллекта, обученный на огромных массивах текста — книгах, статьях, веб-сайтах — и способный понимать, генерировать и рассуждать о человеческом языке. Слово «большая» в названии относится как к объёму обучающих данных, так и к числу внутренних параметров — зачастую миллиардам или даже сотням миллиардов, — которые модель подстраивает в процессе обучения. Современные LLM относятся к так называемым фундаментальным моделям: это системы общего назначения, которые можно адаптировать под множество прикладных языковых задач, не перестраивая с нуля.
Как работает большая языковая модель
Большинство LLM построены на архитектуре трансформер, представленной в статье 2017 года «Attention Is All You Need». Трансформер считывает последовательность токенов (фрагментов текста) и с помощью механизма self-attention определяет, какие из предыдущих токенов наиболее важны при предсказании следующего. Во время обучения модель многократно пытается угадать следующий токен в отрывке, сравнивает свой ответ с фактическим токеном и корректирует параметры, чтобы уменьшить ошибку. Набрав достаточно примеров, модель усваивает закономерности грамматики, факты, приёмы рассуждений и даже синтаксис языков программирования.
На этапе инференса LLM генерирует текст по одному токену за раз, выбирая наиболее вероятное продолжение с учётом промпта и системных инструкций. Простой пример: на промпт «Столица Франции —» модель присвоит высокую вероятность слову «Париж» и выведет его. Тот же механизм, масштабированный и обученный на более разнообразных данных, позволяет одной и той же модели писать эссе, переводить языки, объяснять код и вести диалог.
Почему это важно
LLM — это движок большинства современных разговорных ИИ: от чат-ботов клиентской поддержки до ассистентов для программирования и поисковых систем. Они позволяют программному обеспечению взаимодействовать с людьми на естественном языке, автоматизировать составление и резюмирование текстов, а также открывают нетехническим пользователям возможности, которые раньше требовали привлечения специалистов. Для бизнеса LLM снижают стоимость создания и анализа текстов; для исследователей они служат гибкой основой для изучения языка и мышления. Вместе с тем они поднимают важные вопросы точности, предвзятости, авторского права и энергопотребления, поскольку результаты отражают данные, на которых обучалась модель.
Ключевые типы и смежные понятия
- Базовые (предобученные) модели: исходные модели, обученные на обширных текстовых корпусах; используются как отправная точка для последующей дообучения.
- Инструктивные или диалоговые модели: базовые модели, дополнительно обученные на примерах инструкций и диалогов, чтобы надёжнее следовать запросам пользователя.
- Открытые и проприетарные LLM: модели с открытыми весами (например, семейство Llama от Meta, Mistral) публикуют свои параметры; проприетарные модели (например, серия GPT от OpenAI, Claude от Anthropic) доступны через API.
- Мультимодальные модели: LLM, расширенные для обработки изображений, аудио или видео alongside текста.
- Малые языковые модели (SLM): компактные модели, предназначенные для локального запуска на устройствах или в частных средах с меньшими затратами.
В конечном счёте LLM — это статистическая модель языка, но, будучи масштабированной до миллиардов параметров и обученной на значительной части открытого веба, она ведёт себя как удивительно универсальный ассистент. Понять, что такое LLM и чем она не является, — это первый шаг к эффективному и критичному использованию таких инструментов.