Um Modelo de Linguagem de Grande Dimensão (LLM) é um tipo de inteligência artificial treinada em coleções enormes de texto, como livros, artigos e sítios web, para que consiga compreender, gerar e raciocinar sobre linguagem humana. O "grande" no nome refere-se tanto à dimensão dos dados de treino como ao número de parâmetros internos, frequentemente milhares de milhões ou até centenas de milhares de milhões, que o modelo ajusta durante o treino. Os LLMs modernos são aquilo a que se chama um modelo de base: um sistema de uso geral que pode ser adaptado a muitas tarefas de linguagem a jusante sem ser reconstruído de raiz.
Como funciona um Modelo de Linguagem de Grande Dimensão
A maioria dos LLMs é construída com base na arquitetura transformer, apresentada no artigo de 2017 "Attention Is All You Need". Um transformer lê uma sequência de tokens (fragmentos de texto) e usa um mecanismo chamado self-attention para pesar quais tokens anteriores são mais importantes ao prever o seguinte. Durante o treino, o modelo adivinha repetidamente o próximo token numa passagem, compara a sua suposição com o token real e atualiza os seus parâmetros para reduzir o erro. Após ver exemplos suficientes, o modelo interioriza padrões de gramática, factos, estilos de raciocínio e até sintaxe de programação.
No momento da inferência, o LLM gera texto um token de cada vez, amostrando ou selecionando a continuação mais provável com base no prompt e em quaisquer instruções de sistema. Um exemplo simples: dado o prompt "The capital of France is", o modelo atribui elevada probabilidade a "Paris" e devolve-o. O mesmo mecanismo, ampliado e treinado em dados mais diversificados, permite que um único modelo escreva ensaios, traduza idiomas, explique código e mantenha uma conversa.
Porque é importante
Os LLMs são o motor por trás da maioria da IA conversacional moderna, desde chatbots de apoio ao cliente até assistentes de programação e motores de busca. Permitem que o software interaja com as pessoas em linguagem natural, automatizem a redação e o resumo, e dão a utilizadores não técnicos acesso a capacidades que antes exigiam especialistas. Para as empresas, os LLMs reduzem o custo de produzir e analisar texto; para os investigadores, fornecem uma base flexível para estudar linguagem e raciocínio. Levantam também questões importantes sobre precisão, enviesamento, direitos de autor e consumo de energia, uma vez que os resultados refletem os dados com que o modelo foi treinado.
Tipos principais e conceitos relacionados
- Modelos de base (pré-treinados): Modelos brutos treinados em grandes corpora de texto, úteis como ponto de partida para posterior fine-tuning.
- Modelos afinados para instruções ou chat: Modelos de base treinados adicionalmente com exemplos de instruções e diálogos, para seguirem os pedidos do utilizador de forma mais fiável.
- LLMs de pesos abertos vs. proprietários: Os modelos de pesos abertos (por exemplo, a família Llama da Meta, Mistral) publicam os seus parâmetros; os modelos proprietários (por exemplo, a série GPT da OpenAI, Claude da Anthropic) são acedidos através de APIs.
- Modelos multimodais: LLMs alargados para processar também imagens, áudio ou vídeo em conjunto com texto.
- Modelos de Linguagem Pequenos (SLMs): Modelos compactos concebidos para correr localmente em dispositivos ou em ambientes privados, com menor custo.
Em última análise, um LLM é um modelo estatístico de linguagem, mas, por ter sido ampliado para milhares de milhões de parâmetros e treinado numa fração significativa da web pública, comporta-se como um assistente notavelmente versátil. Compreender o que é um LLM, e o que não é, é o primeiro passo para utilizar estas ferramentas de forma eficaz e crítica.
