Entrenamiento de Grandes Modelos de Lenguaje: Preentrenamiento, Alineación y Escalado para la IA Moderna

Entrenamiento de Grandes Modelos de Lenguaje: Preentrenamiento, Alineación y Escalado para la IA Moderna

Author: Miles Thornton

Description: Entrenar un modelo con 70 mil millones de parámetros no es una tarea de laboratorio: es una operación de ingeniería que consume electricidad, memoria y semanas de tiempo de cómputo. Las preguntas que deciden el éxito no son solo de arquitectura, sino de presupuesto de FLOPs, topología de red y estabilidad numérica. Si trabajas en IA, sabes que la diferencia entre un experimento que converge y uno que explota está en detalles que los cursos apenas mencionan. Entrenamiento de Grandes Modelos de Lenguaje: Preentrenamiento, Alineación y Escalado para la IA Moderna, de Miles Thornton, es una referencia técnica integral que recorre el ciclo de vida completo de los LLM. Con más de 160.000 palabras, 8 partes y 32 capítulos, el libro se estructura en bloques temáticos que van desde la economía del cómputo y los límites físicos del hardware, pasando por las matemáticas del preentrenamiento y las leyes de escalado, hasta la evaluación con benchmarks, el ajuste supervisado, la alineación con RLHF, DPO y las arquitecturas emergentes como Mixture of Experts y modelos multimodales. El corazón del libro es el enfoque de sistemas: no basta con entender backpropagation, hay que saber distribuir gradientes entre cientos de GPUs. Entre los temas centrales que aborda: • Las leyes de escalado de Kaplan y Chinchilla para calcular la asignación óptima de cómputo entre datos y parámetros. • Estrategias de paralelismo de datos, tensores y pipeline, así como FSDP y ZeRO para entrenar modelos que no caben en una sola GPU. • Métodos de alineación de última generación: desde PPO en RLHF hasta DPO, ORPO y GRPO para construir asistentes seguros y útiles. El libro destaca por no atarse a ningún framework o librería específica. En lugar de mostrar cómo usar una API concreta, profundiza en los primeros principios matemáticos y en las compensaciones de ingeniería que siguen vigentes cuando las herramientas cambian. Cada concepto se ancla a su implicación en memoria de GPU, throughput y coste, para que el lector pueda tomar decisiones fundamentadas en su propio entorno. Está pensado para ingenieros de machine learning, investigadores de IA y estudiantes de posgrado que ya dominan los fundamentos de redes neuronales y quieren llevar su comprensión al nivel de los sistemas de producción. A lo largo de la lectura aprenderás a calcular presupuestos de FLOPs, diagnosticar fallos de estabilidad numérica, diseñar estrategias de paralelismo y seleccionar el método de alineación adecuado según el coste y la tarea. No es un libro de recetas, sino una base para razonar sobre problemas que aún no tienen respuesta. Con esta obra, dejarás de ver el entrenamiento de LLMs como una caja negra. Pasarás de entender piezas sueltas a diseñar el pipeline completo —de una sola GPU a un clúster distribuido— con el rigor de un ingeniero de sistemas y la visión de largo plazo que exige la IA moderna.

AI summary: El libro 'Entrenamiento de Grandes Modelos de Lenguaje' de Miles Thornton es una referencia técnica de más de 160.000 palabras que cubre el ciclo de vida completo del entrenamiento de LLMs. Estructurado en 8 partes y 32 capítulos, explica la economía del cómputo, el preentrenamiento autorregresivo, las leyes de escalado de Kaplan y Chinchilla, el entrenamiento distribuido con FSDP y ZeRO, la evaluación con benchmarks, el ajuste supervisado y los métodos de alineación como RLHF, DPO, ORPO y GRPO. Dirigido a ingenieros de machine learning y estudiantes de posgrado, el libro combina fundamentos matemáticos con consideraciones prácticas de hardware y paralelismo para entrenar modelos de gran escala en clústeres de GPUs.

Phù hợp với

Ingenieros de machine learning, investigadores de IA y estudiantes de posgrado con fundamentos de deep learning que buscan dominar el entrenamiento de LLMs a gran escala.

Chân dung độc giả

Un ingeniero de ML con experiencia en deep learning que quiere pasar de entrenar modelos pequeños a sistemas de producción con cientos de GPUs, y necesita dominar leyes de escalado, paralelismo y alineación.

Nhu cầu tìm kiếm

Buscar una guía técnica integral para entender y ejecutar el entrenamiento de LLMs a gran escala, incluyendo preentrenamiento, leyes de escalado, paralelismo distribuido y alineación de preferencias.

Góc tiếp cận

El libro se distingue por su enfoque en primeros principios y compensaciones de ingeniería, en lugar de atarse a frameworks o librerías específicas, preparando al lector para diseñar pipelines de entrenamiento adaptables a distintas herramientas y arquitecturas.

Loại nội dung

guía técnica de referencia para ingenieros de machine learning

Tóm tắt nhanh

• ¿Qué es 'Entrenamiento de Grandes Modelos de Lenguaje'? Es una guía técnica de Miles Thornton que cubre preentrenamiento, alineación y escalado de LLMs, con más de 160.000 palabras.
• ¿Para quién es este libro? Está dirigido a ingenieros de ML, investigadores y estudiantes de posgrado con fundamentos de deep learning que quieran entender el entrenamiento a gran escala.
• ¿Qué métodos de alineación cubre? Incluye RLHF con PPO, DPO, ORPO y GRPO para alinear modelos con preferencias humanas.
• ¿Qué técnicas de paralelismo se abordan? Explica paralelismo de datos, de tensores, por pipeline, y estrategias de sharding como FSDP y ZeRO.

Key topics: preentrenamiento de transformadores, leyes de escalado de Chinchilla, entrenamiento distribuido en GPUs, paralelismo de datos y tensores, RLHF y DPO, ajuste fino supervisado (SFT), evaluación de modelos de lenguaje, modelos Mixture of Experts, entrenamiento multimodal, estabilidad numérica y precisión mixta

Entities: Leyes de escalado de Chinchilla, Ley de escalado de Kaplan, FLOPs, GPU, FSDP, ZeRO, LoRA, QLoRA, PPO, DPO, GRPO, Transformer

Nhu cầu được đáp ứng

• Calcular el presupuesto de cómputo óptimo para un LLM usando leyes de escalado
• Entrenar modelos que no caben en una GPU mediante paralelismo y sharding
• Evaluar el rendimiento real de un LLM con benchmarks y análisis de fallos
• Alinear un modelo con preferencias humanas usando RLHF o DPO
• Escoger estrategias de precisión mixta (FP16, BF16) para optimizar memoria y velocidad
• Diagnosticar y mitigar explosión de gradientes y otros fallos de entrenamiento

Nên đọc nếu

• Ingenieros de machine learning que trabajan en entrenamiento y despliegue de LLMs
• Investigadores de IA que quieren dominar el escalado y la alineación
• Estudiantes de posgrado en ML o NLP con base en deep learning
• Arquitectos de sistemas de IA en empresas que utilizan clústeres de GPUs
• Profesionales que toman decisiones sobre cómputo y presupuesto en proyectos de IA

Có thể không phù hợp nếu

• Principiantes que no tienen fundamentos de redes neuronales
• Usuarios de APIs de LLMs que solo consumen modelos sin entrenarlos
• Personas que buscan tutoriales de un framework específico (PyTorch, TensorFlow, etc.)
• Lectores que esperan recetas y fórmulas rápidas sin comprensión teórica

Mục lục

1. Nota al Lector (introduction)
2. El Ciclo de Vida del Entrenamiento (part)
3. Del Conjunto de Datos al Modelo (chapter)
4. El Pipeline de Entrenamiento de un LLM (section)
5. Datos, Parámetros y Cómputo (section)
6. Etapas del Desarrollo de un Modelo (section)
7. Objetivos del Entrenamiento (section)
8. Criterios de Éxito (section)
9. Comprender el Cómputo (chapter)
10. FLOPs (section)
11. Memoria de la GPU (section)
12. Rendimiento (Throughput) (section)
13. Coste del Entrenamiento (section)
14. Desafíos del Escalado (section)
15. La Economía del Entrenamiento (chapter)
16. Presupuestos de Cómputo (section)
17. Compensaciones del Escalado (section)
18. Eficiencia de los Datos (section)
19. Eficiencia del Modelo (section)
20. Restricciones Prácticas (section)
21. Preentrenamiento de Modelos de Lenguaje (part)
22. Modelado Autorregresivo del Lenguaje (chapter)
23. Predicción del Siguiente Token (section)
24. Modelado del Contexto (section)
25. Teacher Forcing (section)
26. Dinámica del Entrenamiento (section)
27. Objetivos Enmascarados y de Eliminación de Ruido (chapter)
28. MLM (Masked Language Modeling) (section)
29. Corrupción por Segmentos (Span Corruption) (section)
30. Objetivos de T5 (section)
31. Análisis Comparativo (section)
32. Funciones de Pérdida y Optimización (chapter)
33. Entropía Cruzada (section)
34. Perplejidad (section)
35. Objetivos de Optimización (section)
36. Comportamiento de los Gradientes (section)
37. Algoritmos de Optimización (chapter)
38. SGD (section)
39. Adam (section)
40. AdamW (section)
41. Optimizadores Adaptativos (section)
42. Tendencias Modernas (section)
43. Estrategias de Tasa de Aprendizaje (chapter)
44. Warmup (section)
45. Decaimiento Cosenoidal (section)
46. Programaciones (Learning Rate Schedules) (section)
47. Consideraciones de Estabilidad (section)
48. Escalado del Entrenamiento (part)
49. Las Leyes de Escalado (chapter)
50. Leyes de Escalado de Kaplan (section)
51. Leyes de Escalado de Chinchilla (section)
52. Entrenamiento Óptimo en Cómputo (section)
53. Escalado de los Datos (section)
54. Estabilidad del Entrenamiento (chapter)
55. Explosión de Gradientes (section)
56. Recorte de Gradientes (section)
57. Estabilidad Numérica (section)
58. Fallos Durante el Entrenamiento (section)
59. Entrenamiento con Precisión Mixta (chapter)
60. FP32 (section)
61. FP16 (section)
62. BF16 (section)
63. Eficiencia de Memoria (section)
64. Checkpoints y Recuperación (chapter)
65. Guardar el Progreso (section)
66. Reanudar el Entrenamiento (section)
67. Tolerancia a Fallos (section)
68. Ejecuciones de Larga Duración (section)
69. Sistemas de Entrenamiento Distribuido (part)
70. Por Qué Existe el Entrenamiento Distribuido (chapter)
71. Restricciones de Memoria (section)
72. Restricciones de Cómputo (section)
73. Desafíos del Escalado (section)
74. Paralelismo de Datos (chapter)
75. Replicación (section)
76. Sincronización (section)
77. Costes de Comunicación (section)
78. Paralelismo de Modelos (chapter)
79. Paralelismo de Tensores (section)
80. Paralelismo por Pipeline (section)

Câu hỏi thường gặp