La cuantización en IA es una técnica de compresión de modelos que reduce la precisión numérica de los pesos y las activaciones de una red neuronal. En lugar de almacenar cada parámetro como un número de coma flotante de 32 bits, los modelos cuantizados usan formatos de 8 bits, 4 bits o incluso inferiores. Como la memoria y el cómputo escalan con el número de bits, este único cambio puede reducir el tamaño de un modelo entre 2 y 8 veces y acelerar la inferencia, lo que hace posible ejecutar modelos grandes en teléfonos, portátiles, navegadores y dispositivos embebidos.
Cómo funciona la cuantización
Cada peso es originalmente un número real preciso, pero rara vez se necesita toda esa precisión. La cuantización asigna el rango original de valores a un conjunto más pequeño de niveles representables. En la cuantización posterior al entrenamiento (PTQ), un modelo completamente entrenado se convierte una sola vez, normalmente escalando los pesos en coma flotante para que quepan en un rango entero más estrecho. Un mapeo lineal simple de la forma quantized = round(weight / scale) + zero_point hace la mayor parte del trabajo, y el mismo scale y zero_point se utilizan para descuantizar las salidas de vuelta a coma flotante durante la inferencia.
Por ejemplo, un entero de 8 bits solo puede representar 256 valores distintos, por lo que una capa cuyos pesos originalmente abarcan [-1.0, 1.0] en float32 debe agruparlos en 256 pasos espaciados de forma uniforme. Cuanto más ajustados estén esos pasos a la distribución real de los pesos, menos precisión se perderá. Para obtener mejores resultados, el entrenamiento consciente de la cuantización (QAT) simula los errores de redondeo durante el ajuste fino para que el modelo se adapte al ruido, recuperando a menudo casi toda la precisión original.
Por qué es importante
La cuantización es lo que permite que un modelo de varios miles de millones de parámetros quepa en unos pocos gigabytes de RAM y responda en mucho menos de un segundo en una CPU de portátil. Reduce el consumo energético, disminuye los costes de servidor y hace posible la IA en el dispositivo para casos de uso sensibles a la privacidad o sin conexión. También interactúa con el hardware: las GPU, NPU y CPU modernas incluyen unidades matriciales dedicadas de INT8 e INT4, por lo que un modelo cuantizado puede ejecutarse varias veces más rápido que el mismo modelo en float32.
Tipos principales
- Cuantización posterior al entrenamiento (PTQ): Convierte un modelo ya entrenado. Es la opción más económica, con una pequeña pérdida de precisión.
- Entrenamiento consciente de la cuantización (QAT): Simula la cuantización durante el entrenamiento para que los pesos se adapten. Mejor precisión, requiere cómputo adicional.
- Cuantización dinámica: Mantiene los pesos en baja precisión, pero calcula las activaciones sobre la marcha. Útil para modelos de PLN con longitudes de secuencia variables.
- Cuantización solo de pesos: Almacena los pesos en 4 bits o menos, descuantizándolos sobre la marcha. Común para servir grandes modelos de lenguaje.
- GPTQ, AWQ, GGUF: Algoritmos y formatos de archivo populares para la cuantización de LLM a 4 bits que aplican diferentes esquemas para preservar la precisión.
La cuantización se ha convertido en un paso por defecto en el pipeline de despliegue de IA. Herramientas como torch.quantization de PyTorch, NVIDIA TensorRT y ONNX Runtime integran estas técnicas en las pilas de producción, permitiendo a los equipos intercambiar una pequeña cantidad de precisión por mejoras sustanciales en velocidad, memoria y coste.