Эмбеддинг — это способ превратить информацию (слова, предложения, изображения, аудиофрагменты или даже истории кликов пользователя) в список чисел, называемый вектором. Обычно длина списка составляет от нескольких сотен до нескольких тысяч чисел, и каждое число — это изученный признак, отражающий некоторое свойство входных данных. Ключевая идея в том, что модель обучается так, чтобы объекты с похожим смыслом получали похожие векторы, а несвязанные объекты оказывались далеко друг от друга.
Поскольку каждый вход становится точкой в одном и том же математическом пространстве, компьютеры наконец могут складывать, вычитать и измерять расстояние между смыслами, а не просто сравнивать буквы. Именно поэтому эмбеддинги являются основой современного семантического поиска, генерации с дополнением извлечённым контекстом (RAG), рекомендательных систем, кластеризации и классификации.
Как работают эмбеддинги
Под капотом эмбеддинг создаётся нейронной сетью, называемой энкодером. Во время обучения модель обрабатывает огромные объёмы данных и подстраивает свои веса так, чтобы входы, встречающиеся в похожих контекстах (например, слова king и queen или фото золотистого ретривера и подпись "yellow dog"), отображались в векторы, указывающие в похожих направлениях. Получившиеся координаты не заданы вручную — они возникают из цели модели предсказывать соседей, маскированные слова или связанные объекты.
Простой способ это представить: вообразите трёхмерную карту слов. После обучения king, queen, prince и princess образуют один кластер; cat, dog и hamster — другой; а happy, joyful и elated — третий. Реальные эмбеддинги живут в гораздо большем числе измерений (часто 768, 1536 или 3072), но принцип тот же — близость в векторном пространстве соответствует семантическому сходству, обычно измеряемому с помощью косинусного сходства или евклидова расстояния. Чтобы узнать больше о том, как это обучается, см. оригинальную статью о word2vec Миколова и др., а также руководство по эмбеддингам от OpenAI.
Почему эмбеддинги важны
Эмбеддинги превращают неструктурированные, беспорядочные данные в форму, с которой алгоритмы могут эффективно работать. Поисковая система может ранжировать документы по смыслу, а не по точному совпадению ключевых слов, поэтому запрос «как починить протекающий кран» может совпасть со статьёй под названием «ремонт подтекающего смесителя». Рекомендательная система может находить товары, похожие на тот, который пользователь только что просмотрел, даже если в каталоге нет общих меток. А при генерации с дополнением извлечённым контекстом (RAG) LLM опирается на частные или актуальные документы, извлекая фрагменты, чьи эмбеддинги наиболее близки к вопросу пользователя.
Тот же приём работает для изображений (модели в стиле CLIP), аудио, кода и структурированных записей — именно поэтому эмбеддинги стали универсальным промежуточным форматом между данными и ИИ.
Основные типы эмбеддингов
- Словесные эмбеддинги — фиксированные векторы для каждого слова, как в word2vec и GloVe.
- Эмбеддинги предложений и документов — один вектор на фрагмент, создаваемый моделями вроде Sentence-BERT и
text-embedding-3от OpenAI. - Эмбеддинги изображений — векторы от зрительных энкодеров, таких как CLIP, ResNet или DINOv2, обеспечивающие кросс-модальный поиск.
- Мультимодальные эмбеддинги — общие пространства, где текст, изображения и аудио сосуществуют, так что фотографию можно найти по подписи и наоборот.
- Графовые и сущностные эмбеддинги — векторы узлов в графах знаний, используемые в рекомендациях и обнаружении мошенничества.
Получив эмбеддинги, их обычно хранят в векторной базе данных, такой как Pinecone, Weaviate, Milvus или pgvector, и выполняют запросы с помощью поиска k-ближайших соседей (k-NN) или приближённых ближайших соседей (ANN), чтобы находить наиболее близкие совпадения в масштабе.
Эмбеддинги — это незаметная рабочая лошадка современного ИИ: переводя смысл в геометрию, они позволяют машинам сравнивать, извлекать и рассуждать о мире так, как было непрактично до тех пор, пока глубокое обучение не сделало векторные представления одновременно дешёвыми и удивительно точными.