Os parâmetros num modelo de IA são os valores numéricos aprendidos, armazenados no interior de uma rede neuronal, que controlam a forma como esta transforma entradas em saídas. Cada parâmetro é, essencialmente, um peso numa ligação entre neurónios artificiais, e um grande modelo de linguagem típico contém entre dezenas e centenas de milhares de milhões desses parâmetros. O conjunto completo de parâmetros, frequentemente designado por pesos do modelo, é o artefacto produzido pelo treino e é o que é guardado em disco e carregado no momento da inferência.
Como funcionam os parâmetros
Durante o treino, o modelo processa exemplos, faz previsões e compara-as com a resposta correta. Um otimizador ajusta então ligeiramente cada parâmetro na direção que teria reduzido o erro, num processo chamado gradiente descendente. Após biliões de atualizações deste tipo, os parâmetros estabilizam em valores que codificam padrões estatísticos sobre linguagem, imagens ou qualquer outro tipo de dados com que o modelo tenha sido treinado.
No momento da inferência, um prompt é convertido em números e passado através de dezenas ou centenas de camadas. Em cada camada, a entrada é multiplicada por matrizes de pesos e passada por funções não lineares simples, com mecanismos de atenção que permitem ao modelo misturar informação entre posições. Nenhum dos dados originais de treino é guardado de forma literal nos pesos; em vez disso, os parâmetros contêm uma representação estatística comprimida desses dados. Um exemplo concreto: num transformer, as projeções de query, key e value para cada cabeça de atenção são matrizes de parâmetros que decidem a que palavras anteriores o modelo presta atenção ao prever a seguinte.
Por que é importante
O número de parâmetros é o proxy mais citado para a capacidade de um modelo, e com boa razão: mais parâmetros dão a uma rede mais capacidade para memorizar e generalizar padrões, e os maiores modelos modernos apresentam capacidades emergentes de que os mais pequenos carecem. O número de parâmetros também determina preocupações práticas: memória (cada parâmetro ocupa tipicamente 2 bytes em FP16 ou 1 byte quando fortemente quantizado), custo computacional por token, latência e o hardware necessário para executar ou fazer fine-tuning do modelo. É por isso que um modelo com 7 mil milhões de parâmetros pode correr num portátil, enquanto um modelo com 400 mil milhões normalmente não pode.
Tipos principais
- Pesos: a maior parte dos parâmetros, armazenados em matrizes que multiplicam as entradas e os estados ocultos.
- Vieses: pequenos desvios aditivos (um por camada ou por neurónio) que deslocam as ativações.
- Parâmetros de embedding: as tabelas de consulta que convertem IDs de tokens em vetores, contabilizados no orçamento total de parâmetros.
- Parâmetros de atenção: as projeções de query, key, value e output dentro de cada bloco transformer.
- Parâmetros feed-forward: as duas camadas densas grandes em cada bloco transformer, que normalmente representam a maioria do total de pesos.
Os parâmetros também são habitualmente agrupados por precisão. Um modelo descrito como "70B" tem 70 mil milhões de parâmetros, mas o seu tamanho em ficheiro depende de estes estarem armazenados em formato de 32 bits, 16 bits, 8 bits ou 4 bits, o que explica por que motivo o mesmo modelo pode variar entre cerca de 140 GB e cerca de 35 GB em disco. Compreender os parâmetros esclarece praticamente todos os outros conceitos da IA moderna, desde o fine-tuning e a quantização ao comprimento do contexto e ao custo de inferência.