A MATEMÁTICA DOS TRANSFORMERS E DOS GRANDES MODELOS DE LINGUAGEM: Atenção, Probabilidades de Tokens, Leis de Escala e Inferência em Modelos de Linguagem

A MATEMÁTICA DOS TRANSFORMERS E DOS GRANDES MODELOS DE LINGUAGEM: Atenção, Probabilidades de Tokens, Leis de Escala e Inferência em Modelos de Linguagem

Author: Simon Calder

Description: Há uma ironia no coração da inteligência artificial moderna: a arquitetura Transformer, que impulsiona os modelos de linguagem mais avançados, é um dos sistemas matemáticos mais bem documentados, mas a maioria dos engenheiros que a utiliza não consegue explicar o papel de cada tensor desde a entrada até a perda. Por que a atenção escalonada precisa da divisão pela raiz da dimensão? Por que o gradiente da atenção não explode? O que exatamente o cache KV armazena durante a geração autorregressiva? Estas não são perguntas acadêmicas — são a chave para diagnosticar problemas, escolher arquiteturas e levar modelos para produção com confiança. A Matemática dos Transformers e dos Grandes Modelos de Linguagem, de Simon Calder, é o guia matemático que responde a essas perguntas com rigor sem perder a intuição. Quarto volume de uma série dedicada à matemática do aprendizado profundo, este livro pode ser lido de forma independente. Ele não oferece código pronto ou APIs — oferece a lógica invariante que precede qualquer implementação. Cada capítulo deriva as equações a partir de primeiros princípios, ilustra com exemplos numéricos pequenos (vetores 3D, matrizes de atenção 4x4) e, crucialmente, rastreia as dimensões dos tensores em cada operação, desde a tokenização até a projeção final de logits. Com 28 capítulos e 140 seções distribuídas em 9 partes, o livro cobre cada componente com a profundidade que ele merece. A obra está organizada em nove partes que espelham o pipeline de dados de um LLM. Na Parte I, o leitor estabelece a intuição macro e revisa a notação vetorial que será usada consistentemente. A Parte II converte texto em espaços de representação: tokenização (BPE, Unigram), embeddings e codificação posicional (RoPE, ALiBi). A Parte III mergulha no núcleo algébrico — Queries, Keys, Values, atenção escalonada, máscaras causais e multi-head attention — com um exemplo numérico passo a passo que vale por si só como referência. A Parte IV monta o bloco Transformer completo: redes feed-forward com SwiGLU, normalização (LayerNorm vs RMSNorm), fluxos residuais e a arte de empilhar camadas. A Parte V formaliza a modelagem de linguagem como distribuição de probabilidade, culminando na derivada do gradiente da cross-entropy softmax. A Parte VI explora a dinâmica do treinamento: objetivos de pré-treinamento, otimizadores (AdamW, warmup), leis de escala (Chinchilla) e in-context learning. A Parte VII foca na inferência: o ciclo prefill-decode, o cache KV, estratégias de amostragem (greedy, top-k, top-p, beam search). A Parte VIII discute contextos longos e eficiência: complexidade quadrática da atenção, sliding-window, e arquiteturas como Multi-Query Attention, Grouped-Query Attention e Mixture of Experts. Finalmente, a Parte IX integra tudo em um sistema unificado e discute limitações fundamentais. Entre os destaques, você encontrará: • A derivação completa da atenção multi-cabeça com rastreamento preciso das dimensões tensoriais. • A análise matemática das leis de escala e o ponto ótimo de computação (Chinchilla). • A mecânica detalhada da inferência autorregressiva, incluindo o cache KV e seu custo de memória. Cada capítulo segue a mesma estrutura: uma afirmação central, a derivação com notação consistente, um exemplo numérico pequeno e a análise de complexidade. O resultado é que o leitor não apenas memoriza fórmulas, mas constrói uma intuição geométrica sólida para cada operação. A obsessão do livro pelo rastreamento de shapes não é acidental — em arquiteturas modernas com múltiplos heads, batch size variável e sequências longas, o maior ponto de erro na implementação está nas operações de reshape e transpose. Ao dominar essa notação, o leitor se torna capaz de ler e depurar qualquer implementação Transformer. Este livro é escrito para engenheiros de machine learning, pesquisadores e estudantes de pós-graduação que já dominam cálculo multivariável e álgebra linear e querem ir além do uso de APIs para compreender a verdadeira mecânica dos LLMs. Ele também é valioso para qualquer profissional que precise tomar decisões fundamentadas sobre arquitetura, como escolher entre GQA e MQA, ou dimensionar o modelo para um orçamento de computação. Não é um livro introdutório sobre deep learning — é um mergulho vertical na matemática específica dos Transformers e LLMs. Em um momento em que LLMs são implementados em milhares de aplicações, a diferença entre um engenheiro que entende a matemática subjacente e um que apenas usa APIs é o que determina a qualidade dos resultados. Este livro nivela o campo de jogo, oferecendo a todos os profissionais o mesmo nível de compreensão que os pesquisadores dos laboratórios originais. Ao longo das 140 seções, o leitor aprenderá a enxergar cada Transformer como um grafo de operações diferenciais com dimensões bem definidas. Saberá calcular o número de parâmetros de qualquer modelo, estimar o FLOPs por forward pass, e explicar por que a atenção escalonada é numericamente estável. Mais importante, estará preparado para ler e criticar novos papers da área com um olhar matemático crítico. Ao fechar o livro, você não verá mais LLMs como caixas pretas. Verá pipelines de tensores, com cada componente cumprindo uma função geométrica ou probabilística específica. Essa compreensão é o que separa o usuário avançado do verdadeiro especialista. E é exatamente isso que A Matemática dos Transformers e dos Grandes Modelos de Linguagem oferece: a base matemática para inovar, não apenas para aplicar.

AI summary: Este livro expõe a matemática dos Transformers e LLMs, desde tokenização e embeddings até atenção multi-cabeça, leis de escala e inferência autorregressiva. Escrito por Simon Calder, é o quarto volume de uma série sobre matemática em IA, mas pode ser lido independentemente. O livro é direcionado a engenheiros e pesquisadores com conhecimento básico de ML que desejam aprofundar seu entendimento teórico.

Ideal para

Engenheiros de Machine Learning, pesquisadores de IA, cientistas de dados e estudantes de pós-graduação com base em cálculo, álgebra linear e probabilidade

Perfil do leitor

Profissional de ML que deseja compreender profundamente a matemática dos Transformers e LLMs para diagnosticar problemas e tomar decisões arquiteturais informadas.

Intenção de busca

Aprender a matemática fundamental por trás de Transformers e grandes modelos de linguagem, incluindo atenção, treinamento, escalonamento e inferência.

Ângulo único

Abordagem sistemática que rastreia as dimensões dos tensores em cada operação, combinando intuição geométrica com derivações formais e exemplos numéricos, indo além da maioria dos livros que apenas listam componentes.

Tipo de conteúdo

Nonfiction mathematical guide

Resumo rápido

• O livro explica por que a divisão por √dk estabiliza os gradientes da atenção.
• Deriva as leis de escala de Kaplan e Chinchilla para alocação ótima de recursos.
• Analisa o KV Cache e seu impacto na memória e latência da inferência.
• Compara arquiteturas como Multi-Query Attention e Mixture of Experts.
• Fornece exemplos numéricos manuais para ancorar cada derivação matemática.

Key topics: Tokenização, Embeddings e codificação posicional, Scaled Dot-Product Attention, Multi-Head Attention, Redes Feed-Forward e gating, Normalização e conexões residuais, Leis de escala (Kaplan, Chinchilla), In-Context Learning, Inferência autorregressiva e KV Cache, Decoding e amostragem

Entities: Transformer, Large Language Model (LLM), Self-Attention, Multi-Head Attention, Scaled Dot-Product Attention, Cross-Entropy, Perplexidade, Scaling Laws, KV Cache, Mixture of Experts (MoE), Rotary Position Embedding (RoPE), AdamW

Necessidades atendidas

• Compreender por que a atenção funciona matematicamente.
• Saber como alocar recursos entre tamanho do modelo e dados usando leis de escala.
• Diagnosticar saturação de softmax e gradientes instáveis.
• Entender o custo de memória do KV Cache e como otimizá-lo.
• Diferenciar arquiteturas Transformer e escolher a adequada para cada tarefa.
• Avaliar modelos usando perplexidade e conhecer suas limitações.

Leia se

• Engenheiros de Machine Learning
• Cientistas de Dados
• Pesquisadores em IA
• Estudantes de pós-graduação em Ciência da Computação
• Profissionais que trabalham com NLP e Generative AI

Pode não servir se

• Iniciantes completos em machine learning (sem compreensão de álgebra linear e probabilidade)
• Leitores em busca de tutoriais práticos de código
• Profissionais interessados apenas em aplicações sem teoria

Sumário

1. Introdução: Nota do Autor (introduction)
2. UMA VISÃO GERAL DOS TRANSFORMERS E DOS GRANDES MODELOS DE LINGUAGEM (part)
3. Modelos de Linguagem sob uma Perspectiva Matemática (chapter)
4. A linguagem como uma sequência de Tokens (section)
5. O que um modelo de linguagem realmente aprende? (section)
6. Dos n-gramas aos modelos neurais de linguagem (section)
7. Treinamento e inferência (section)
8. Por que os Transformers se tornaram a arquitetura dominante (section)
9. A Estrutura Geral de um Transformer (chapter)
10. Entradas e saídas de um Transformer (section)
11. Componentes de um bloco Transformer (section)
12. Fluxo de dados através de um bloco Transformer (section)
13. Empilhamento de blocos Transformer (section)
14. Encoders, Decoders e modelos Encoder–Decoder (section)
15. A Estrutura Geral de um Grande Modelo de Linguagem (chapter)
16. Tokenizer e Vocabulary (section)
17. Embeddings e informação posicional (section)
18. O núcleo Transformer (section)
19. A cabeça de modelagem de linguagem (section)
20. Fluxos completos de treinamento e inferência (section)
21. Ferramentas Matemáticas e Notação (chapter)
22. Vetores, matrizes e Tensores (section)
23. Shapes, dimensões e eixos (section)
24. Produtos escalares e multiplicação de matrizes (section)
25. Softmax, logaritmos e Cross-Entropy (section)
26. Complexidade computacional e de memória (section)
27. DO TEXTO AOS ESPAÇOS DE REPRESENTAÇÃO (part)
28. Tokenization e Espaços de Vocabulary (chapter)
29. Por que modelos de linguagem precisam de Tokenization (section)
30. Tokenization por caractere, palavra e Subword (section)
31. Byte Pair Encoding (section)
32. WordPiece e o Unigram Language Model (section)
33. Tamanho do Vocabulary e custo do modelo (section)
34. Token Embeddings e Espaços Semânticos (chapter)
35. De IDs de Tokens a vetores (section)
36. A matriz de Embedding como parâmetros aprendidos (section)
37. Distância, produtos escalares e similaridade (section)
38. Embeddings estáticos e contextuais (section)
39. Weight Tying (section)
40. A Matemática da Representação Posicional (chapter)
41. Por que a Self-Attention não compreende automaticamente a ordem (section)
42. Codificação posicional sinusoidal (section)
43. Embeddings posicionais aprendidos (section)
44. Viés de posição relativa e ALiBi (section)
45. Rotary Position Embedding (section)
46. A MATEMÁTICA CENTRAL DA ATTENTION (part)
47. Queries, Keys, Values e Attention (chapter)
48. Seleção de informação contextual (section)
49. Queries, Keys e Values (section)
50. Projeções lineares de Queries, Keys e Values (section)
51. Produtos escalares como pontuações de relevância (section)
52. Somas ponderadas de Values (section)
53. Scaled Dot-Product Attention (chapter)
54. A equação completa da Attention (section)
55. Por que dividir pela raiz quadrada da dimensão das Keys? (section)
56. A matriz de Attention (section)
57. Attention em forma de Tensor (section)
58. Um exemplo numérico passo a passo (section)
59. Mascaramento e Causal Attention (chapter)
60. Padding Masks (section)
61. Causal Masks (section)
62. Aplicação de máscaras antes da Softmax (section)
63. Attention bidirecional e autorregressiva (section)
64. Causal Masks durante treinamento e inferência (section)
65. Multi-Head Attention (chapter)
66. Por que um único Attention Head não é suficiente (section)
67. Projeções por Head (section)
68. Cálculo paralelo dos Heads (section)
69. Concatenação e projeção de saída (section)
70. Número de Heads, dimensão do Head e dimensão do modelo (section)
71. Outras Formas de Interpretar a Attention (chapter)
72. Attention como recuperação de informação (section)
73. Attention e memória associativa (section)
74. Attention e métodos de Kernel (section)
75. Attention como suavização condicional (section)
76. Pesos de Attention e interpretabilidade (section)
77. A ESTRUTURA MATEMÁTICA DOS TRANSFORMERS (part)
78. Redes Feed-Forward e Gating (chapter)
79. Transformações aplicadas por posição (section)
80. Expansão e contração da dimensão oculta (section)

Perguntas frequentes