Un Large Language Model (LLM) es un tipo de inteligencia artificial entrenada con enormes colecciones de texto, como libros, artículos y sitios web, para comprender, generar y razonar sobre el lenguaje humano. El «large» del nombre se refiere tanto al tamaño de los datos de entrenamiento como al número de parámetros internos, a menudo miles de millones o incluso cientos de miles de millones, que el modelo ajusta durante el entrenamiento. Los LLM modernos son lo que se denomina un foundation model: un sistema de propósito general que puede adaptarse a muchas tareas lingüísticas posteriores sin tener que reconstruirse desde cero.
Cómo funciona un Large Language Model
La mayoría de los LLM se construyen sobre la arquitectura transformer, presentada en el artículo de 2017 «Attention Is All You Need». Un transformer lee una secuencia de tokens (fragmentos de texto) y utiliza un mecanismo llamado self-attention para ponderar qué tokens anteriores son más importantes al predecir el siguiente. Durante el entrenamiento, el modelo adivina repetidamente el siguiente token de un pasaje, compara su suposición con el token real y actualiza sus parámetros para reducir el error. Tras ver suficientes ejemplos, el modelo interioriza patrones de gramática, hechos, estilos de razonamiento e incluso sintaxis de programación.
En el momento de la inferencia, el LLM genera texto token a token, muestreando o seleccionando la continuación más probable según el prompt y las instrucciones del sistema. Un ejemplo sencillo: dado el prompt «The capital of France is», el modelo asigna una alta probabilidad a «Paris» y lo muestra. El mismo mecanismo, ampliado y entrenado con datos más diversos, permite que un único modelo redacte ensayos, traduzca idiomas, explique código y mantenga una conversación.
Por qué es importante
Los LLM son el motor de la mayor parte de la IA conversacional moderna, desde chatbots de atención al cliente hasta asistentes de programación y motores de búsqueda. Permiten que el software interactúe con las personas en lenguaje natural, automaticen la redacción y el resumen, y dan a usuarios no técnicos acceso a capacidades que antes requerían especialistas. Para las empresas, los LLM reducen el coste de producir y analizar texto; para los investigadores, ofrecen una base flexible para estudiar el lenguaje y el razonamiento. También plantean cuestiones importantes sobre precisión, sesgos, derechos de autor y consumo energético, porque los resultados reflejan los datos con los que se entrenó el modelo.
Tipos clave y conceptos relacionados
- Modelos base (pretrained): modelos sin procesar entrenados con amplios corpus de texto, útiles como punto de partida para un ajuste posterior.
- Modelos ajustados para instrucciones o chat: modelos base entrenados además con ejemplos de instrucciones y diálogos para que sigan las solicitudes del usuario de forma más fiable.
- LLM de pesos abiertos frente a propietarios: los modelos de pesos abiertos (por ejemplo, la familia Llama de Meta, Mistral) publican sus parámetros; los modelos propietarios (por ejemplo, la serie GPT de OpenAI, Claude de Anthropic) se accede a ellos mediante APIs.
- Modelos multimodales: LLM ampliados para procesar también imágenes, audio o vídeo junto con texto.
- Small Language Models (SLM): modelos compactos diseñados para ejecutarse localmente en dispositivos o en entornos privados con menor coste.
En última instancia, un LLM es un modelo estadístico del lenguaje, pero, como se ha escalado a miles de millones de parámetros y se ha entrenado con una fracción considerable de la web pública, se comporta como un asistente extraordinariamente versátil. Entender qué es un LLM, y qué no es, es el primer paso para utilizar estas herramientas de forma eficaz y crítica.