Fine-Tuning de Modelos de Lenguaje Grande: De Modelos Base a IA Específica de Dominio

Fine-Tuning de Modelos de Lenguaje Grande: De Modelos Base a IA Específica de Dominio

Author: Miles Thornton

Description: Un modelo base con 70 mil millones de parámetros puede completar poemas, pero no sabe responder una pregunta simple sobre políticas de devolución de tu empresa. El fine-tuning es la diferencia entre un modelo impresionante y un asistente útil, y este libro te enseña a construir esa diferencia. Fine-Tuning de Modelos de Lenguaje Grande es una guía práctica de ingeniería para transformar modelos abiertos como Llama o Mistral en asistentes especializados para tu dominio. Escrito por Miles Thornton, recorre todo el pipeline: desde la preparación de datos hasta el despliegue en producción, con foco en SFT y PEFT (LoRA, QLoRA), sin desviarse hacia teoría innecesaria. El libro cubre tres áreas que marcan la diferencia: • Curar y diseñar datasets de instrucciones de alta calidad, el factor que determina el éxito de cualquier fine-tuning. • Ejecutar entrenamiento supervisado con control total sobre tokenización, pérdida y sobreajuste. • Implementar LoRA y QLoRA para entrenar modelos de 70B en hardware de consumo, con optimizaciones como Unsloth y Flash Attention. Escrito para ingenieros que ya construyen con Python y conocen los conceptos básicos de machine learning, este manual te prepara para evaluar, exportar y servir tus propios modelos con herramientas como vLLM y Ollama. No es un libro de teoría matemática: es un flujo de trabajo real, con compensaciones claras y soluciones a errores comunes. Si quieres pasar de consumir APIs a construir IA específica de dominio, este libro te entrega el mapa completo. Con 18 capítulos y proyectos de extremo a extremo, estarás listo para llevar tus modelos a producción sin depender de clústeres costosos.

AI summary: Este libro es una guía práctica de ingeniería para el fine-tuning de modelos de lenguaje grandes (LLMs) open-source, como Llama y Mistral. Cubre todo el pipeline: preparación de datos, entrenamiento supervisado (SFT), fine-tuning eficiente en parámetros (LoRA, QLoRA), evaluación y despliegue en producción con herramientas como vLLM y Ollama. Está dirigido a ingenieros de software y científicos de datos que quieren crear asistentes de IA específicos de dominio con recursos limitados.

Ideal para

Ingenieros de software, científicos de datos y desarrolladores de IA que buscan implementar LLMs en producción con recursos limitados.

Perfil del lector

Un ingeniero de software con experiencia en Python y machine learning que quiere crear asistentes especializados para su empresa sin depender de APIs costosas y con una GPU de consumo.

Intención de búsqueda

El lector busca una guía práctica para ajustar modelos de lenguaje grandes (LLMs) a dominios específicos, con técnicas eficientes como LoRA y QLoRA, y poder desplegarlos en producción.

Enfoque único

Este libro se distingue por su enfoque 100% práctico y orientado a recursos limitados, con técnicas como QLoRA y herramientas como Unsloth, evitando teoría innecesaria.

Tipo de contenido

guía práctica de ingeniería

Resumen rápido

• El fine-tuning es el proceso de adaptar un modelo de lenguaje preentrenado a una tarea o dominio específico mediante entrenamiento adicional con datos supervisados.
• LoRA y QLoRA son técnicas de fine-tuning eficiente en parámetros que permiten entrenar modelos grandes en hardware de consumo.
• Este libro enseña a curar datasets de instrucciones, ejecutar SFT práctico y desplegar modelos con vLLM y Ollama.
• El libro está dirigido a ingenieros que quieren construir IA específica de dominio sin depender de clústeres costosos.

Key topics: fine-tuning, SFT, LoRA, QLoRA, datasets de instrucciones, evaluación de modelos, despliegue de modelos, optimización de memoria GPU

Entities: Modelos de lenguaje grande, Transformers, Fine-tuning supervisado, LoRA, QLoRA, PEFT, Hugging Face, vLLM, Ollama, Flash Attention

Necesidades cubiertas

• Cómo crear asistentes de IA especializados sin entrenar desde cero.
• Cómo reducir el costo de entrenamiento mediante LoRA y QLoRA.
• Cómo preparar datasets de instrucciones de alta calidad.
• Cómo evaluar y mejorar iterativamente el rendimiento del modelo.
• Cómo desplegar modelos ajustados en producción con herramientas de código abierto.

Léelo si

• Ingenieros de software que quieren integrar LLMs en productos
• Científicos de datos que buscan especializar modelos con datos propios
• Desarrolladores de IA con experiencia en Python
• Profesionales de MLOps interesados en el ciclo de vida del fine-tuning

Puede no encajar si

• Personas que buscan una introducción a machine learning sin conocimientos previos
• Investigadores interesados en teoría avanzada de entrenamiento distribuido o RLHF
• Lectores que prefieren usar APIs cerradas sin control sobre el modelo

Índice

1. Introducción (introduction)
2. El Pipeline Moderno de Fine-Tuning de LLM (part)
3. El Viaje desde el Preentrenamiento hasta los Modelos de Chat (chapter)
4. El Pipeline Moderno de Desarrollo de LLM (section)
5. Dónde Encaja el Fine-Tuning (section)
6. De Modelos Base a Asistentes de IA (section)
7. Fine-Tuning vs Ingeniería de Prompts vs RAG (section)
8. El Flujo de Trabajo Completo de Fine-Tuning (section)
9. Comprensión de los Modelos de Lenguaje Modernos (chapter)
10. Fundamentos de Transformers (section)
11. Arquitecturas Solo-Decoder (section)
12. Modelos Base, Modelos Instruct y Modelos de Chat (section)
13. Familias de Modelos de Peso Abierto (section)
14. Elección del Modelo Adecuado (section)
15. Estrategias de Fine-Tuning (chapter)
16. Preentrenamiento Continuo (section)
17. Fine-Tuning Completo (section)
18. Fine-Tuning Supervisado (section)
19. Fine-Tuning Eficiente en Parámetros (section)
20. Elección de la Estrategia Adecuada (section)
21. Construcción de Datos de Entrenamiento de Alta Calidad (part)
22. Recopilación de Datos de Entrenamiento (chapter)
23. Fuentes de Datos de Entrenamiento (section)
24. Datos Específicos de Dominio (section)
25. Limpieza y Filtrado (section)
26. Deduplicación (section)
27. Versionado de Conjuntos de Datos (section)
28. Diseño de Conjuntos de Datos de Instrucciones (chapter)
29. Formato Instrucción-Respuesta (section)
30. Conversaciones de Múltiples Turnos (section)
31. Prompts de Sistema (section)
32. Plantillas de Chat (section)
33. Balanceo de Conjuntos de Datos (section)
34. Mejora de la Calidad del Conjunto de Datos (chapter)
35. Detección de Muestras de Baja Calidad (section)
36. Generación de Datos Sintéticos (section)
37. Aumentación de Datos (section)
38. Validación de Conjuntos de Datos (section)
39. Construcción de Conjuntos de Datos Listos para Producción (section)
40. Fine-Tuning Supervisado (part)
41. Preparación para el Entrenamiento (chapter)
42. Tokenización (section)
43. Ventanas de Contexto (section)
44. Empaquetado de Secuencias (section)
45. Objetivos de Entrenamiento (section)
46. Funciones de Pérdida (section)
47. Ejecución del Fine-Tuning Supervisado (chapter)
48. Carga de Modelos (section)
49. Carga de Conjuntos de Datos (section)
50. Configuración del Entrenamiento (section)
51. Ejecución del Entrenamiento (section)
52. Guardado de Checkpoints (section)
53. Evaluación del Entrenamiento (chapter)
54. Métricas de Entrenamiento (section)
55. Validación (section)
56. Ajuste de Hiperparámetros (section)
57. Detección de Sobreajuste (section)
58. Resolución de Problemas (section)
59. Fine-Tuning Eficiente en Parámetros (part)
60. Introducción a PEFT (chapter)
61. ¿Por qué PEFT? (section)
62. Métodos Basados en Adaptadores (section)
63. LoRA (section)
64. QLoRA (section)
65. Elección de un Método PEFT (section)
66. Fine-Tuning con LoRA (chapter)
67. Módulos Objetivo (section)
68. Hiperparámetros de LoRA (section)
69. Optimización de Memoria (section)
70. Fusión de Adaptadores (section)
71. Exportación de Modelos (section)
72. Fine-Tuning Cuantizado (chapter)
73. Conceptos Básicos de Cuantización (section)
74. Entrenamiento a 4-Bits (section)
75. Cuantización NF4 (section)
76. Doble Cuantización (section)
77. Compromisos Prácticos (section)
78. Ingeniería de Fine-Tuning (part)
79. El Stack de Fine-Tuning de Código Abierto (chapter)
80. Transformers (section)

Preguntas frecuentes