Галлюцинация ИИ — это уверенный, связный ответ, сгенерированный системой искусственного интеллекта, который содержит вымышленную, неточную или непроверяемую информацию, поданную как факт. Этот термин чаще всего применяется к большим языковым моделям (LLM) и другим генеративным системам ИИ, которые могут создавать текст, изображения, ссылки или числовые утверждения, звучащие авторитетно, но не имеющие опоры в реальных данных. Поскольку эти системы предназначены для генерации правдоподобного результата, а не для извлечения проверенной истины, галлюцинации являются структурным свойством того, как они работают, а не случайным сбоем.
Как работают галлюцинации ИИ
Большие языковые модели генерируют вывод по одному токену за раз, предсказывая, что с наибольшей статистической вероятностью должно идти следующим, на основе шаблонов, изученных во время обучения. У модели нет встроенного представления о базе проверенных фактов; она лишь знает, какие слова и фразы обычно следуют друг за другом. Когда запрос требует конкретных деталей, таких как ссылка на источник, дата или биография человека, модель может выдать текст, который по форме похож на правильный ответ, но не имеет никаких ограничений, связывающих его с реальными фактами. Если обучающих данных по теме мало или вопрос необычный, модель фактически заполняет пробелы своей наилучшей догадкой.
Простой пример: попросите LLM назвать название статьи и её автора, и она может выдумать правдоподобно звучащее название, приписав его реальному исследователю, который никогда его не писал. Модель не лжёт намеренно; она делает то, для чего была обучена, — генерирует вероятное продолжение. Генерация с дополненной выборкой (RAG), использование инструментов и ограниченная декодификация — распространённые методы, позволяющие уменьшить такое поведение, хотя и не устранить его полностью.
Почему это важно
Галлюцинации важны, потому что пользователи часто воспринимают вывод ИИ как авторитетный, особенно когда он представлен в уверенной, отполированной форме. В таких областях, как медицина, юриспруденция, журналистика и разработка программного обеспечения, единственная выдуманная ссылка или несуществующий API могут привести к реальному вреду. Именно поэтому большинство корпоративных и промышленных развёртываний сочетают генеративные модели с системами поиска, уровнями проверки фактов и человеческим контролем. Понимание того, что галлюцинация — это поведение по умолчанию, а не редкий сбой, необходимо всем, кто выпускает или полагается на контент, созданный ИИ.
Распространённые виды галлюцинаций ИИ
- Фактическая галлюцинация: уверенно заявленные факты, которые неверны, — например, выдуманные статистические данные, даты или исторические события.
- Выдуманная ссылка на источник: ссылки на статьи, публикации или URL-адреса, которые не существуют, либо приписывание реальных работ неправильному автору.
- Внутренняя и внешняя галлюцинация: внутренняя галлюцинация противоречит исходному материалу, предоставленному модели (например, заданному документу), тогда как внешняя галлюцинация вводит информацию, не подтверждённую вообще никаким источником.
- Логическая галлюцинация: логические шаги, которые выглядят правильными, но содержат ошибочные выводы, например, корректно оформленные математические расчёты, приводящие к неверному ответу.
Галлюцинации — это неотъемлемый компромисс современного генеративного ИИ: та же связность и гибкость, которые делают модели полезными, делают их способными выдумывать правдоподобную ложь. Самая надёжная защита — относиться к выводу модели как к черновику, требующему проверки, а не как к готовому источнику истины. Инструменты, которые подкрепляют модели извлечёнными документами, обеспечивают структурированный вывод или проверяют утверждения по доверенным базам данных, способны заметно снизить частоту галлюцинаций, но не устраняют их первопричину.