Las Matemáticas de los Transformers y los LLMs: Atención, Probabilidades de Tokens, Leyes de Escalado e Inferencia

Las Matemáticas de los Transformers y los LLMs: Atención, Probabilidades de Tokens, Leyes de Escalado e Inferencia

Author: Simon Calder

Description: Cuando le pides a un modelo de lenguaje que complete una frase, no hay magia en su interior: solo una cascada de operaciones vectoriales, matrices y probabilidades. Sin embargo, la mayoría de las explicaciones se quedan en la superficie, mostrando diagramas de cajas sin desvelar la maquinaria. Este libro desmonta esa maquinaria pieza a pieza, transformando la opacidad de los LLMs en un flujo de datos matemáticamente preciso. Las Matemáticas de los Transformers y los LLMs: Atención, Probabilidades de Tokens, Leyes de Escalado e Inferencia es una obra técnica rigurosa que te guía por cada componente de un transformer moderno con un nivel de detalle poco habitual. A lo largo de 28 capítulos organizados en 9 partes, el libro sigue el flujo de datos del modelo: desde la tokenización y los embeddings hasta la atención multi-cabeza, las redes feed-forward, la normalización y el cabezal de salida. Los primeros capítulos establecen la notación matemática y las herramientas de álgebra lineal, mientras que los siguientes profundizan en los espacios de representación y en el mecanismo de atención. Cada sección incluye las formas exactas de los tensores y un análisis de costes computacionales y de memoria. El libro profundiza en las ecuaciones que sustentan los LLMs: la atención escalada por producto punto, las variantes con enmascaramiento causal, la representación posicional mediante RoPE o ALiBi, y las redes con activaciones como SwiGLU. También aborda la probabilidad subyacente al modelado de lenguaje: logits, softmax, entropía cruzada y perplejidad. Y no se detiene ahí: dedica una parte completa a las leyes de escalado y a la dinámica de entrenamiento, explicando cómo el tamaño del modelo, los datos y el cómputo se relacionan según leyes de potencia. Además, dedica capítulos a la inferencia autorregresiva, al caché KV y a las arquitecturas eficientes como la atención lineal y la mezcla de expertos. Cada concepto se explica con un enfoque práctico: se rastrean las dimensiones de los tensores, se calculan los FLOPs y se comparan opciones de implementación. El libro no se limita a la teoría: incluye ejemplos numéricos con tensores de pequeño tamaño para que puedas verificar cada operación. Entre las aportaciones más destacadas: • La derivación paso a paso de la ecuación de atención, con justificación de cada factor de escala. • Un análisis crítico de las leyes de escalado y sus límites empíricos, incluyendo la ley de Chinchilla. • La comparación entre arquitecturas eficientes como GQA, FlashAttention o mezcla de expertos, con sus implicaciones en memoria y velocidad. Dirigido a ingenieros de machine learning, investigadores de IA y estudiantes de posgrado con una base sólida en álgebra lineal, cálculo y probabilidad. No es un manual de programación, sino un recorrido matemático que te capacitará para comprender papers, implementar arquitecturas innovadoras y depurar modelos con confianza. Si estás acostumbrado a usar transformers a través de bibliotecas pero quieres entender qué ocurre realmente en el interior, este libro es para ti. El enfoque es independiente de cualquier framework, por lo que podrás aplicar estos conocimientos en cualquier entorno. Como valor añadido, la obra utiliza un lenguaje visual consistente: los diagramas de flujo tensorial emplean colores para distinguir las dimensiones de lote, secuencia y oculta, lo que facilita el seguimiento de las formas a lo largo de todas las operaciones. Además, cada capítulo termina con un análisis del impacto computacional y de memoria, conectando la teoría con la práctica. La lectura puede ser lineal, pero también sirve como referencia para consultas puntuales sobre componentes específicos. Al cerrar la última página, serás capaz de rastrear cada tensor desde la entrada hasta la salida, de calcular el coste real de un modelo y de tomar decisiones informadas en el diseño de tus propios sistemas. Las Matemáticas de los Transformers y los LLMs se convertirá en la referencia que consultarás cuando necesites despejar cualquier duda sobre el funcionamiento interno de los modelos de lenguaje.

AI summary: Este libro ofrece un análisis matemático detallado de los Transformers y los grandes modelos de lenguaje (LLMs). Cubre desde la tokenización y embeddings hasta la atención multi-cabeza, las leyes de escalado y la inferencia autorregresiva. Está dirigido a ingenieros, investigadores y estudiantes de posgrado con una base sólida en álgebra lineal, cálculo y probabilidad.

Ideal para

Ingenieros de machine learning, investigadores de IA y estudiantes de posgrado con base sólida en matemáticas.

Perfil del lector

Un profesional con sólida formación en matemáticas que trabaja con LLMs y quiere entender los mecanismos internos para implementar y depurar modelos.

Intención de búsqueda

Buscar un libro técnico que explique detalladamente las matemáticas de los transformers y los LLMs, incluyendo atención, escalado e inferencia.

Enfoque único

El libro se distingue por su rigor matemático y su enfoque en el seguimiento de las formas de los tensores en cada operación, además de incluir análisis de costos computacionales y comparaciones de arquitecturas eficientes.

Tipo de contenido

guía técnica exhaustiva

Resumen rápido

• Las matemáticas de los Transformers se explican a través de la atención escalada por producto punto, que permite modelar dependencias entre tokens.
• El libro incluye una derivación paso a paso de la ecuación de atención y la justificación del factor de escala.
• Las leyes de escalado, como la ley de Chinchilla, son analizadas en detalle para entender cómo el tamaño del modelo, los datos y el cómputo se relacionan.
• La inferencia autorregresiva se explica mediante el uso del caché KV y arquitecturas eficientes.

Key topics: Atención, Tokenización, Embeddings, Leyes de escalado, Inferencia, Modelado de lenguaje, Optimización, Arquitecturas Transformer, Probabilidad, Cómputo y memoria

Entities: Transformer, Large Language Model (LLM), Attention Mechanism, Scaling Laws, Autoregressive Inference, Tokenization, Embeddings, KV Cache, FlashAttention, Chinchilla, Softmax, Cross-Entropy

Necesidades cubiertas

• Comprender cómo funciona la atención multi-cabeza por dentro
• Entender las leyes de escalado para optimizar entrenamiento
• Dominar la inferencia autorregresiva y el caché KV
• Aprender a calcular el costo computacional de un modelo
• Desarrollar intuición sobre representaciones vectoriales
• Comparar arquitecturas eficientes como FlashAttention y mezcla de expertos

Léelo si

• Ingenieros de machine learning
• Investigadores en IA
• Estudiantes de posgrado en IA/ML
• Desarrolladores de modelos de lenguaje
• Científicos de datos que usan LLMs

Puede no encajar si

• Lectores sin formación matemática previa
• Quienes buscan una guía de programación práctica con frameworks
• Personas interesadas en aplicaciones de negocio sin profundidad técnica
• Quienes esperan un libro de recetas sin teoría

Índice

1. Introducción (introduction)
2. Una Visión General de los Transformers y los Modelos de Lenguaje Grande (part)
3. Los Modelos de Lenguaje desde una Perspectiva Matemática (chapter)
4. El lenguaje como una secuencia de tokens (section)
5. ¿Qué aprende realmente un modelo de lenguaje? (section)
6. De los n-gramas a los modelos de lenguaje neuronales (section)
7. Entrenamiento e inferencia (section)
8. Por qué los Transformers se convirtieron en la arquitectura dominante (section)
9. La Estructura General de un Transformer (chapter)
10. Entradas y salidas de un Transformer (section)
11. Componentes de un bloque Transformer (section)
12. Flujo de datos a través de un bloque Transformer (section)
13. Apilamiento de bloques Transformer (section)
14. Encoders, Decoders y modelos Encoder-Decoder (section)
15. La Estructura General de un Modelo de Lenguaje Grande (chapter)
16. Tokenizador y Vocabulario (section)
17. Embeddings e Información Posicional (section)
18. El Backbone Transformer (section)
19. El Cabezal de Modelado de Lenguaje (section)
20. Flujos completos de Entrenamiento e Inferencia (section)
21. Herramientas Matemáticas y Notación (chapter)
22. Vectores, Matrices y Tensores (section)
23. Formas, Dimensiones y Ejes (section)
24. Productos Punto y Multiplicación de Matrices (section)
25. Softmax, Logaritmos y Entropía Cruzada (section)
26. Complejidad Computacional y de Memoria (section)
27. Del Texto a los Espacios de Representación (part)
28. Tokenización y Espacios de Vocabulario (chapter)
29. Por qué los modelos de lenguaje necesitan tokenización (section)
30. Tokenización por caracteres, palabras y subpalabras (section)
31. Byte Pair Encoding (BPE) (section)
32. WordPiece y el modelo de lenguaje Unigram (section)
33. Tamaño del vocabulario y costo del modelo (section)
34. Embeddings de Tokens y Espacios Semánticos (chapter)
35. De IDs de tokens a vectores (section)
36. La matriz de embeddings como parámetros aprendidos (section)
37. Distancia, productos punto y similitud (section)
38. Embeddings estáticos y contextuales (section)
39. Weight Tying (Compartición de pesos) (section)
40. Las Matemáticas de la Representación Posicional (chapter)
41. Por qué la auto-atención no entiende el orden automáticamente (section)
42. Codificación posicional sinusoidal (section)
43. Embeddings posicionales aprendidos (section)
44. Sesgo de posición relativa y ALiBi (section)
45. Rotary Position Embedding (RoPE) (section)
46. Las Matemáticas Fundamentales de la Atención (part)
47. Queries, Keys, Values y la Atención (chapter)
48. Selección de información contextual (section)
49. Queries, Keys y Values (section)
50. Proyecciones lineales de Queries, Keys y Values (section)
51. Productos punto como puntuaciones de relevancia (section)
52. Sumas ponderadas de Values (section)
53. Atención Escalada por Producto Punto (chapter)
54. La ecuación completa de la atención (section)
55. ¿Por qué dividir por la raíz cuadrada de la dimensión de la Key? (section)
56. La matriz de atención (section)
57. La atención en forma de tensor (section)
58. Un ejemplo numérico paso a paso (section)
59. Enmascaramiento y Atención Causal (chapter)
60. Máscaras de relleno (Padding Masks) (section)
61. Máscaras causales (section)
62. Aplicación de máscaras antes del Softmax (section)
63. Atención bidireccional y autorregresiva (section)
64. Máscaras causales durante el entrenamiento y la inferencia (section)
65. Atención Multi-Cabeza (chapter)
66. Por qué una sola cabeza de atención no es suficiente (section)
67. Proyecciones por cabeza (section)
68. Cómputo paralelo de cabezas (section)
69. Concatenación y proyección de salida (section)
70. Número de cabezas, dimensión de cabeza y dimensión del modelo (section)
71. Vistas Alternativas de la Atención (chapter)
72. La atención como recuperación (section)
73. Atención y memoria asociativa (section)
74. Atención y métodos de kernel (section)
75. Atención como suavizado condicional (section)
76. Pesos de atención e interpretabilidad (section)
77. La Estructura Matemática de los Transformers (part)
78. Redes Feed-Forward y Mecanismos de Puerta (chapter)
79. Transformaciones independientes por posición (section)
80. Expansión y contracción de la dimensión oculta (section)

Preguntas frecuentes