TRANSFORMERLAR VE BÜYÜK DİL MODELLERİNİN MATEMATİĞİ: Dikkat, Token Olasılıkları, Ölçekleme Yasaları ve Dil Modeli Çıkarımı

TRANSFORMERLAR VE BÜYÜK DİL MODELLERİNİN MATEMATİĞİ: Dikkat, Token Olasılıkları, Ölçekleme Yasaları ve Dil Modeli Çıkarımı

Author: Simon Calder

Description: Bir metin üreticisinin önünüze döktüğü paragraf, on binlerce sayının sıralı bir şekilde çarpılmasından başka bir şey değildir. Yine de bu sürecin sonunda anlamlı, bağlama duyarlı ve kimi zaman şaşırtıcı derecede insansı metinler belirir. Bu kitap, o sürecin perde arkasındaki matematiği anlatır. Transformerlar ve büyük dil modelleri üzerine bugüne kadar yazılmış en kapsamlı matematiksel incelemelerden biri; dikkat mekanizmasının nokta çarpımlarından ölçekleme yasalarının üssel ilişkilerine kadar, bir dil modelinin tüm hesaplama dünyasını tek bir çatı altında topluyor. Elinizdeki çalışma, bir LLM'nin çıktısını bir 'kara kutu' gibi görmekten sıkılanlar için yazıldı. Modelin ürettiği token olasılıklarının nasıl hesaplandığını, bu olasılıkların öğrenilmiş parametrelerden nasıl türetildiğini ve metin üretimi sırasında bellek maliyetinin neden bağlam uzunluğuyla orantılı arttığını adım adım gösteriyor. Kitap, salt bir kullanım kılavuzu değil; aynı zamanda benzersiz bir düşünme biçimi sunuyor: Dili yalnızca bir kelime dizisi olarak değil, matematiksel bir nesne olarak ele almayı öneriyor. Bu yaklaşım, yalnızca model mimarisini değil, modelin sınırlarını ve davranışını da anlamanın anahtarını veriyor. • Transformer bloğunun tüm bileşenlerini — öz-dikkat, ileri beslemeli ağlar, artık bağlantılar ve normalizasyon — tek bir tutarlı veri akışı içinde ele alıyor; bu sayede yalnızca 'ne' değil, 'nasıl' ve 'neden' soruları da yanıtlanıyor. • Dikkat mekanizmasının matematiksel türetimini, sorgu-anahtar-değer dönüşümlerinden çoklu başlık yapısına ve maskeli nedensel dikkate kadar eksiksiz sunuyor. • Tokenizasyondan gömme uzaylarına, konumsal kodlamalardan (RoPE, ALiBi) kelime dağarcığı boyutunun model maliyetine etkisine kadar, metnin modele giriş yolculuğunu sıfırdan kuruyor. • Logitler, softmax ve çapraz entropi arasındaki ilişkiyi türetiyor; eğitim sırasında gradyanların nasıl akarak parametreleri güncellediğini sayılarla açıklıyor. • Ölçekleme yasalarının matematiksel temelini inceliyor; hesap-optimal eğitim için parametre sayısı ile veri boyutunun nasıl dengeleceğini gösteriyor. • Otoregresif çıkarımın ön doldurma ve kod çözme ayrımını, KV önbelleğin bellek maliyetini ve örnekleme stratejilerini ele alıyor; bir modelin üretim sırasında neden yavaşladığını ve belleğin neden tükendiğini somut olarak anlatıyor. Bu kitap, makine öğrenimi mühendisleri ve model geliştiricileri için olduğu kadar, dil modellerinin arka planındaki matematiği öğrenmek isteyen araştırmacılar ve yüksek lisans öğrencileri için de vazgeçilmez bir kaynak. İleri düzey bir matematik altyapısı gerektirmiyor; ancak doğrusal cebir, kalkülüs ve olasılığa aşina olanlar buradan en yüksek verimi alacaktır. Transformerların matematiksel yapısını, eğitim dinamiklerini ve çıkarım sırasındaki hesaplama maliyetlerini anlamak isteyen herkes için bir başvuru niteliği taşıyor. Kitabın en güçlü yanı, konuları birbirinden kopuk formüller olarak değil, zincirin birer halkası olarak işlemesi. Veri-akışı mantığı üzerine kurgulanan bölümler, okuyucuyu bir tokenin gömme uzayından başlayıp çıktı olasılıklarına uzanan yolculukta adım adım ilerletiyor. Her adımda gerekli olan matematiksel araçlar, sanki o anda ihtiyaç duyulduğu için tanıtılıyor. Bir dil modelinin nasıl çalıştığını yalnızca fikir düzeyinde değil, hesap düzeyinde görmek isteyenler için bu kitap bir yol haritası niteliğinde. Bugüne dek birçok kaynağın ya çok yüzeysel ya da aşırı soyut bıraktığı bu alan, ilk kez bu kadar net ve eksiksiz bir biçimde matematiğin diline çevriliyor.

AI summary: Bu kitap, transformerların ve büyük dil modellerinin matematiksel yapısını kapsamlı biçimde ele alır. Dikkat mekanizmasının sorgu-anahtar-değer izdüşümlerinden çoklu başlık yapısına, tokenizasyondan gömme uzaylarına, ölçekleme yasalarından çıkarım optimizasyonuna kadar tüm konuları doğrusal cebir ve olasılık bilgisiyle açıklar. Kitap, ileri düzey matematik gerektirmeksizin, temel matematik bilen okuyuculara yöneliktir ve serinin dördüncü cildi olmasına rağmen bağımsız okunabilirlik sağlar.

Uygun okuyucu

Makine öğrenimi mühendisleri, veri bilimcileri, NLP araştırmacıları ve lisansüstü öğrenciler; LLM'lerin matematiksel temellerini derinlemesine öğrenmek isteyen teknik profesyoneller.

Okur profili

Doğrusal cebir ve olasılık bilen, ancak büyük dil modellerinin iç işleyişini hesap düzeyinde anlamak isteyen bir makine öğrenimi mühendisi.

Arama amacı

Büyük dil modellerinin matematiksel yapısını ve transformer mimarisini ayrıntılı, türetme odaklı olarak öğrenme arayışı.

Özgün açı

Bu kitap, bir LLM'nin tüm hesaplama dünyasını tek bir veri akışı mantığıyla ele alır ve konuları birbirinden kopuk formüller olarak değil, zincirin halkaları olarak işler.

İçerik türü

Matematiksel teknik referans

Kısa özet

• Bu kitap, transformer ve büyük dil modellerinin matematiksel temellerini adım adım açıklayan kapsamlı bir kaynaktır.
• Dikkat mekanizmasının sorgu-anahtar-değer çarpımlarından başlayarak, ölçekleme yasalarına kadar tüm matematiği kapsar.
• Kitap, doğrusal cebir ve olasılık bilen okuyucular için tasarlanmıştır; ileri düzey matematik ön koşulu yoktur.
• LLM'lerin çıkarım sürecindeki bellek maliyetini ve KV önbellekleme stratejilerini matematiksel olarak analiz eder.

Key topics: Transformer mimarisi, Dikkat mekanizması, Tokenizasyon, Gömme uzayları, Konumsal kodlama, Ölçekleme yasaları, Çıkarım optimizasyonu, Dil modeli eğitimi, Olasılık dağılımları, Softmax ve çapraz entropi

Entities: Transformer, Büyük Dil Modeli, Dikkat Mekanizması, Token, Ölçekleme Yasaları, KV Önbellekleme, Softmax, Çapraz Entropi, RoPE, Tokenizasyon, Doğrusal Cebir, Olasılık Kuramı

Karşılanan ihtiyaçlar

• Büyük dil modellerinin iç işleyişini kara kutu olmaktan çıkarır.
• Dikkat mekanizmasının matematiksel türetimini eksiksiz sunar.
• Ölçekleme yasalarıyla hesap-optimal eğitim dengesini gösterir.
• Çıkarım sırasındaki bellek ve zaman maliyetlerini analiz eder.
• Transformer bloğunun tüm bileşenlerini veri akışı üzerinden birleştirir.

Şunlar için oku

• Makine öğrenimi mühendisleri
• NLP araştırmacıları
• Yüksek lisans ve doktora öğrencileri
• Veri bilimcileri
• LLM geliştiricileri
• Derin öğrenme matematiksel altyapısını güçlendirmek isteyen teknik profesyoneller

Şu durumda uygun olmayabilir

• Yalnızca pratik kullanım rehberi arayan ve matematiksel türetmelerden kaçınan okuyucular
• Temel doğrusal cebir, kalkülüs ve olasılık bilgisi olmayanlar
• Sinir ağlarının matematiğine giriş düzeyinde bir kaynak bekleyenler

İçindekiler

1. Giriş (introduction)
2. TRANSFORMERLAR VE BÜYÜK DİL MODELLERİNE GENEL BAKIŞ (part)
3. Matematiksel Bir Bakış Açısıyla Dil Modelleri (chapter)
4. Bir Token Dizisi Olarak Dil (section)
5. Bir Dil Modeli Aslında Ne Öğrenir? (section)
6. n-gramlardan Sinirsel Dil Modellerine (section)
7. Eğitim ve Çıkarım (section)
8. Transformerlar Neden Baskın Mimari Oldu? (section)
9. Bir Transformer'ın Genel Yapısı (chapter)
10. Transformer Girdileri ve Çıktıları (section)
11. Bir Transformer Bloğunun Bileşenleri (section)
12. Bir Transformer Bloğu İçinden Veri Akışı (section)
13. Transformer Bloklarını İstifleme (section)
14. Kodlayıcılar, Kod Çözücüler ve Kodlayıcı-Kod Çözücü Modeller (section)
15. Bir Büyük Dil Modelinin Genel Yapısı (chapter)
16. Tokenizasyon ve Kelime Dağarcığı (section)
17. Gömmele ve Konumsal Bilgi (section)
18. Transformer Omurgası (section)
19. Dil Modeli Başlığı (section)
20. Eksiksiz Eğitim ve Çıkarım Akışları (section)
21. Matematiksel Araçlar ve Gösterim (chapter)
22. Vektörler, Matrisler ve Tensörler (section)
23. Şekiller, Boyutlar ve Eksenler (section)
24. Nokta Çarpımları ve Matris Çarpımları (section)
25. Softmax, Logaritmalar ve Çapraz Entropi (section)
26. Hesaplama ve Bellek Karmaşıklığı (section)
27. METİNDEN TEMSİL UZAYLARINA (part)
28. Tokenizasyon ve Kelime Dağarcığı Uzayları (chapter)
29. Dil Modellerinin Neden Tokenizasyona İhtiyacı Var? (section)
30. Karakter, Kelime ve Alt Kelime Tokenizasyonu (section)
31. Byte Çifti Kodlaması (Byte Pair Encoding) (section)
32. WordPiece ve Unigram Dil Modeli (section)
33. Kelime Dağarcığı Boyutu ve Model Maliyeti (section)
34. Token Gömmele ve Anlamsal Uzaylar (chapter)
35. Token Kimliklerinden Vektörlere (section)
36. Öğrenilen Parametreler Olarak Gömme Matrisi (section)
37. Mesafe, Nokta Çarpımları ve Benzeflik (section)
38. Statik ve Bağlamsal Gömmele (section)
39. Ağırlik Bağlama (Weight Tying) (section)
40. Konumsal Temsilin Matematiği (chapter)
41. Öz-Dikkatin Sırayı Neden Otomatik Olarak Anlamadığı (section)
42. Sinüzoidal Konumsal Kodlama (section)
43. Öğrenilen Konumsal Gömmele (section)
44. Göreli Konum Yanlılığu ve ALiBi (section)
45. Döner Konumsal Gömme (RoPE) (section)
46. DİKKAT MEKANİZMASININ TEMEL MATEMATİĞİ (part)
47. Sorgular, Anahtar, Değerler ve Dikkat (chapter)
48. Bağlamsal Bilgi Seçimi (section)
49. Sorgular, Anahtar ve Değerler (section)
50. Sorgu, Anahtar ve Değerlerin Doğrusal İzdüşümlerı (section)
51. İlgililik Skorları Olarak Nokta Çarpımları (section)
52. Değerlerin Ağırlıklı Toplamları (section)
53. Ölçeklendirilmiş Nokta Çarpımı Dikkati (chapter)
54. Eksiksiz Dikkat Denklemii (section)
55. Neden Anahtar Boyutunun Karekö ki ne Bölünür? (section)
56. Dikkat Matrisi (section)
57. Tensör Formunda Dikkat (section)
58. Adım Adım Sayısal Bir Örnek (section)
59. Maskleme ve Nedensel Dikkat (chapter)
60. Dolgu Maskeleri (section)
61. Nedensel Maskeler (section)
62. Softmax Öncesi Maskelerin Uygulanması (section)
63. Çift Yönlü ve Otoregresif Dikkat (section)
64. Eğitim ve Çıkarım Sırasında Nedensel Maskeler (section)
65. Çoklu Başlık Dikkati (chapter)
66. Neden Tek Bir Dikkat Başlığı Yetrli Değildir? (section)
67. Baş Başına İzdüşümler (section)
68. Paralel Baş Hesaplaması (section)
69. Birleştirme ve Çıktı İzdüşümü (section)
70. Baş Sayısı, Baş Boyutu ve Model Boyutu (section)
71. Dikkat Mekanizmasına Alternatif Bakış Açıları (chapter)
72. Geri Getirme Olarak Dikkat (section)
73. Dikkat ve İlişkisel Bellek (section)
74. Dikkat ve Çekirdek Yöntemleri (section)
75. Koşullu Yumuşatma Olarak Dikkat (section)
76. Dikkat Ağırlıkları ve Yorumlanab ilirlik (section)
77. TRANSFORMERLARIN MATEMATİKSEL YAPISI (part)
78. İleri Beslemel i Ağlar ve Kapılama (chapter)
79. Konum Bazlı Dönüşümler (section)
80. Gizli Boyutu Genişletme ve Daraltma (section)

Sık sorulan sorular