Un embedding es una forma de convertir información (palabras, frases, imágenes, clips de audio o incluso historiales de clics de usuarios) en una lista de números llamada vector. La lista suele tener desde unos cientos hasta unos pocos miles de números, y cada número es una característica aprendida que captura alguna propiedad de la entrada. La idea clave es que el modelo se entrena para que los elementos con un significado similar terminen con vectores similares, y los elementos no relacionados queden muy alejados.
Como cada entrada se convierte en un punto en el mismo espacio matemático, los ordenadores por fin pueden hacer cosas como sumar, restar y medir distancias entre significados, en lugar de simplemente comparar letras. Por eso los embeddings son la base de la búsqueda semántica moderna, la generación aumentada por recuperación (RAG), los sistemas de recomendación, el clustering y la clasificación.
Cómo funcionan los embeddings
Bajo el capó, un embedding lo produce una red neuronal llamada encoder. Durante el entrenamiento, el modelo ve enormes cantidades de datos y ajusta sus pesos para que las entradas que aparecen en contextos similares (por ejemplo, las palabras king y queen, o una foto de un golden retriever y el pie de foto "yellow dog") se mapeen a vectores que apunten en direcciones parecidas. Las coordenadas resultantes no se diseñan a mano; emergen del objetivo del modelo de predecir vecinos, palabras enmascaradas o elementos relacionados.
Una forma sencilla de visualizarlo: imagina un mapa 3D de palabras. Tras el entrenamiento, king, queen, prince y princess forman un clúster; cat, dog y hamster forman otro; y happy, joyful y elated forman un tercero. Los embeddings reales viven en dimensiones mucho más altas (a menudo 768, 1.536 o 3.072), pero el principio es idéntico: la proximidad en el espacio vectorial se corresponde con la similitud semántica, normalmente medida con similitud del coseno o distancia euclídea. Para profundizar en cómo se entrena esto, consulta el artículo original de word2vec de Mikolov et al. y la guía de embeddings de OpenAI.
Por qué importan los embeddings
Los embeddings convierten datos desordenados y no estructurados en una forma con la que los algoritmos pueden razonar de forma eficiente. Un motor de búsqueda puede clasificar documentos por significado en lugar de por coincidencia exacta de palabras clave, de modo que una consulta como "cómo arreglar un grifo que gotea" puede coincidir con un artículo titulado "reparar un grifo que pierde". Un sistema de recomendación puede encontrar productos similares al que un usuario acaba de ver, incluso cuando el catálogo no comparte etiquetas. Y en la generación aumentada por recuperación (RAG), un LLM fundamenta sus respuestas en documentos privados o actualizados recuperando los fragmentos cuyos embeddings están más cerca de la pregunta del usuario.
El mismo truco funciona con imágenes (modelos tipo CLIP), audio, código y registros estructurados, por lo que los embeddings se han convertido en un formato de intercambio universal entre datos e IA.
Tipos clave de embeddings
- Word embeddings: vectores fijos por palabra, como en word2vec y GloVe.
- Embeddings de frases y documentos: un vector por pasaje, producido por modelos como Sentence-BERT y el
text-embedding-3de OpenAI. - Embeddings de imágenes: vectores de encoders de visión como CLIP, ResNet o DINOv2, que permiten búsqueda cross-modal.
- Embeddings multimodales: espacios compartidos donde conviven texto, imágenes y audio, de modo que una foto se puede recuperar con un pie de foto y viceversa.
- Embeddings de grafos y entidades: vectores para nodos en grafos de conocimiento, usados en recomendación y detección de fraude.
Una vez que tienes los embeddings, normalmente los almacenas en una base de datos vectorial como Pinecone, Weaviate, Milvus o pgvector, y los consultas con búsqueda de k-vecinos más cercanos (k-NN) o vecinos más cercanos aproximados (ANN) para encontrar las coincidencias más cercanas a escala.
Los embeddings son el silencioso caballo de batalla de la IA actual: al traducir el significado a geometría, permiten a las máquinas comparar, recuperar y razonar sobre el mundo de formas que no eran prácticas antes de que el deep learning hiciera las representaciones vectoriales a la vez baratas y sorprendentemente precisas.