Engenharia de Modelos de Recomendação: Deep Learning, Ranking e Técnicas Avançadas

Engenharia de Modelos de Recomendação: Deep Learning, Ranking e Técnicas Avançadas

Author: Ryan Mercer

Description: Modelos de recomendação falham menos por causa do algoritmo do que por decisões de engenharia mal compreendidas. O paradoxo é que, mesmo com o avanço do deep learning, muitos sistemas ainda entregam resultados medianos porque a escolha do modelo foi tratada como um fim em si, quando na verdade ela é consequência de dados bem estruturados, objetivos claros e trade-offs conscientes. Este livro é um guia prático para projetar, treinar, avaliar e otimizar modelos modernos de recomendação, sem mergulhar em infraestrutura de servidores ou pipelines de dados. O ponto central é simples: a eficácia de um sistema não começa na arquitetura, mas na compreensão do pipeline completo — recuperação, ranking e re-ranking — e na formulação correta do problema. Em vez de apresentar um catálogo de técnicas, o autor mostra como cada decisão de engenharia afeta a qualidade final e que tipo de trade-off é aceitável em cada contexto. • Recuperação eficiente com modelos two-tower e embeddings bem treinados, equilibrando precisão e latência para gerar candidatos em larga escala. • Ranking que captura interações complexas de features com arquiteturas como Wide & Deep, DeepFM e modelos baseados em atenção. • Modelagem sequencial e contextual com Transformers, SASRec e BERT4Rec, entendendo quando a ordem e o contexto realmente importam. • Aprendizado multitarefa e multiobjetivo, com MMoE, PLE e estratégias para lidar com objetivos concorrentes como CTR, conversão e valor de longo prazo. • Avaliação offline honesta, com métricas como Recall@K e NDCG, evitando a lacuna entre os resultados de laboratório e o comportamento real do usuário. • Otimização para produção: compressão de embeddings, quantização e destilação para reduzir custo computacional sem sacrificar a qualidade. A obra é direcionada a engenheiros de machine learning, cientistas de dados e desenvolvedores que trabalham ou querem atuar com sistemas de recomendação em larga escala. Se você já domina o básico de aprendizado supervisionado e deseja entender os trade-offs entre as abordagens — e não apenas decorar diagramas — este livro foi escrito para você. Ele não promete um modelo mágico, mas oferece o ferramental para você tomar decisões com intenção. No fim, a proposta é que você saia com uma visão holística do processo de modelagem: da definição do objetivo do produto até o monitoramento de modos de falha como viés de popularidade, loops de feedback e obsolescência do modelo. É um convite para pensar além da acurácia — e projetar sistemas que geram valor real. Se você está cansado de copiar arquiteturas sem questionar o porquê, este livro é o ponto de partida para construir a sua própria fundamentação.

AI summary: Este livro é um guia técnico para engenheiros de machine learning e cientistas de dados que trabalham com sistemas de recomendação. Cobre o pipeline completo de modelagem: recuperação com arquiteturas two-tower, ranking com modelos como Wide & Deep e DeepFM, recomendação sequencial com Transformers, aprendizado multitarefa, avaliação offline rigorosa e otimização para produção. O foco é em decisões de engenharia, trade-offs e aplicações práticas, sem infraestrutura, para quem busca fundamentação sólida.

Ideal para

Engenheiros de machine learning, cientistas de dados e desenvolvedores que projetam ou mantêm sistemas de recomendação em produção e buscam dominar as decisões de modelagem.

Perfil do leitor

Um engenheiro de ML com experiência em aprendizado supervisionado, que precisa entender trade-offs entre arquiteturas para melhorar a qualidade e a eficiência de um sistema de recomendação existente.

Intenção de busca

Busca por conhecimento técnico aprofundado sobre como projetar, treinar, avaliar e otimizar modelos de recomendação usando deep learning, ranking e técnicas avançadas.

Ângulo único

Diferente de livros que apenas catalogam arquiteturas, este guia foca nas decisões de engenharia e trade-offs, explicando o porquê por trás de cada escolha de modelagem no contexto de sistemas reais.

Tipo de conteúdo

technical engineering guide

Resumo rápido

• Este livro ensina a projetar, treinar, avaliar e otimizar modelos de recomendação com deep learning, abordando recuperação, ranking e técnicas avançadas.
• Destinado a engenheiros de ML, cientistas de dados e desenvolvedores que trabalham com sistemas de recomendação em larga escala.
• Cobre arquiteturas como two-tower, Wide & Deep, DeepFM, SASRec, BERT4Rec, MMoE, além de avaliação offline e otimização para produção.
• A obra foca em decisões de engenharia e trade-offs, evitando abordagens superficiais de catálogo de técnicas.

Key topics: Sistemas de recomendação, Deep learning, Ranking, Recuperação, Embeddings, Two-tower, Transformers, Aprendizado multitarefa, Avaliação offline, Otimização de modelos

Entities: two-tower, Wide & Deep, DeepFM, DLRM, NCF, SASRec, BERT4Rec, MMoE, PLE, NDCG, Recall@K, LightGCN

Necessidades atendidas

• Escolher a arquitetura certa para recuperação e ranking
• Entender trade-offs entre precisão, latência e custo computacional
• Construir datasets de treinamento de alta qualidade para recomendação
• Avaliar modelos offline com métricas confiáveis e evitar lacunas online
• Equilibrar objetivos concorrentes (CTR, conversão, valor) e diversidade
• Otimizar modelos para produção com quantização e compressão de embeddings

Leia se

• Engenheiros de machine learning que projetam sistemas de recomendação
• Cientistas de dados que desejam aprofundar em deep learning para ranking
• Desenvolvedores que mantêm sistemas de recomendação em produção
• Estudantes de pós-graduação em áreas de ML e recuperação de informação
• Profissionais que buscam fundamentação técnica para tomar decisões de modelagem

Pode não servir se

• Iniciantes sem experiência básica em aprendizado supervisionado
• Leitores que buscam um guia de infraestrutura ou pipeline de dados
• Pessoas que preferem abordagens puramente teóricas sem foco prático

Sumário

1. Introdução (introduction)
2. Dos Modelos Básicos à Recomendação Moderna (part)
3. A Stack Moderna de Modelagem de Recomendação (chapter)
4. Recuperação, Ranking e Re-ranking (section)
5. De Heurísticas a Modelos Aprendidos (section)
6. Recomendação como um Problema de Predição (section)
7. Fluxos de Trabalho de Treinamento e Servimento (section)
8. Escolhendo a Arquitetura de Modelo Certa (section)
9. Dados de Recomendação e Objetivos de Aprendizado (chapter)
10. Sinais de Usuário, Item e Contexto (section)
11. Feedback Explícito e Implícito (section)
12. Aprendizado Pointwise, Pairwise e Listwise (section)
13. Rótulos, Feedback Atrasado e Atribuição (section)
14. Vazamento de Dados e Viés de Treinamento (section)
15. Construindo Conjuntos de Dados de Treinamento (chapter)
16. Exemplos Positivos e Negativos (section)
17. Estratégias de Amostragem Negativa (section)
18. Construção de Sessões e Sequências (section)
19. Divisão de Conjuntos de Dados para Recomendação (section)
20. Lidando com Dados de Interação Desbalanceados (section)
21. Embeddings e Modelos de Recuperação (part)
22. Aprendendo Embeddings de Usuário e Item (chapter)
23. De Fatores Latentes a Embeddings Neurais (section)
24. Tabelas de Embedding e Features Esparsas (section)
25. Funções de Similaridade (section)
26. Regularização de Embeddings (section)
27. Avaliando a Qualidade do Embedding (section)
28. Modelos de Recuperação Two-Tower (chapter)
29. A Arquitetura Two-Tower (section)
30. Design da Torre do Usuário (section)
31. Design da Torre do Item (section)
32. Treinamento com Negativos In-Batch (section)
33. Servindo Modelos Two-Tower (section)
34. Geração Avançada de Candidatos (chapter)
35. Recuperação de Candidatos de Múltiplas Fontes (section)
36. Recuperação Colaborativa e Baseada em Conteúdo (section)
37. Geração Sequencial de Candidatos (section)
38. Recuperação Baseada em Grafos (section)
39. Mistura e Deduplicação de Candidatos (section)
40. Modelos de Ranking (part)
41. Ranking como Aprendizado Supervisionado (chapter)
42. Objetivos de Ranking (section)
43. Predição de CTR e Engajamento (section)
44. Predição de Conversão e Valor (section)
45. Interações de Features (section)
46. Avaliação de Modelos de Ranking (section)
47. Wide & Deep e Modelos de Interação de Features (chapter)
48. Memorização e Generalização (section)
49. Wide & Deep Learning (section)
50. Factorization Machines (section)
51. DeepFM (section)
52. Deep & Cross Networks (section)
53. Modelos de Recomendação com Deep Learning (chapter)
54. Neural Collaborative Filtering (section)
55. DLRM (section)
56. Product-Based Neural Networks (section)
57. Modelos de Ranking Baseados em Atenção (section)
58. Escolhendo Entre Famílias de Modelos (section)
59. Ranking Consciente de Comportamento (chapter)
60. Modelando Históricos de Comportamento do Usuário (section)
61. DIN (section)
62. DIEN (section)
63. Evolução de Interesses (section)
64. Preferências de Longo e Curto Prazo (section)
65. Recomendação Sequencial e Contextual (part)
66. Recomendação Sequencial (chapter)
67. Por que a Ordem da Interação Importa (section)
68. Abordagens Markovianas e Recorrentes (section)
69. Recomendação Baseada em Sessão (section)
70. SASRec (section)
71. BERT4Rec (section)
72. Recomendação Baseada em Transformers (chapter)
73. Autoatenção para Sequências de Usuários (section)
74. Codificação Posicional e Temporal (section)
75. Históricos Longos de Usuários (section)
76. Arquiteturas de Transformers Eficientes (section)
77. Limitações dos Recomendações com Transformers (section)
78. Recomendação Consciente de Contexto (chapter)
79. Contexto de Tempo, Localização e Dispositivo (section)
80. Intenção da Sessão (section)

Perguntas frequentes