Phase 07: Transformers Deep Dive

Ölçekleme Kanunları

Kaplan 2020 makalesinde: daha büyük model, daha düşük kayıp. 2022 Hoffmann makalesinde: az eğitim aldığınızı söyledi. Hesaplama iki kova parametreler ve jetonlara ayrılır ve bölünme açık değildir.

Type: Learn

Languages: Python

Prerequisites: Phase 7 · 05 (Full Transformer), Phase 7 · 07 (GPT)

Time: ~45 minutes

Sorun

Eğitim hesaplamalarının C FLOP'ları olduğunda ve en iyi modeli istediğinde iki düğmeye karşı karşıya kalırsın:

How many parameters (N)?Daha büyük model, daha büyük kapasite.
How many training tokens (D)?Daha fazla veri, daha iyi kapasite kullanımı.

FLOP'lar yaklaşık olarak 6 × N × DN'yi yukarı ve aşağıya, ya da D'yi yukarı ve aşağıya itirebilirsin. Hangisi daha iyi?

2022'den önce, cevap "N zor it" idi. GPT-3 (2020) 175B parametreleri yaklaşık 300B jetonlarda eğitilmişti.

Hoffmann et al. (2022), Chinchilla adlı küçük bir model ailesini eğitmekle ilgili farklı bir şey buldu: Optimal oran 20 tokens per parameterGPT-3 10 kat daha az eğitimliydi. Chinchilla (70B param, 1.4T token) her referans değerinde GPT-3 (175B, 300B token) 2.5 kat daha az sonuç maliyetinde yendi.

2026'da Chinchilla'nın dünyası bir önemli dönüşü ile. Llama 3 8B 15 trilyon jeton üzerinde eğitildi, bu da bir parametreden 1.875 jeton oranı. Ninety-four times past Chinchilla-optimal.

Anlaşım

!Chinchilla curves: loss vs compute at various N/D ratios

Hoffmann Yasası

Chinchilla gazetesinden kayıp şöyle:

L(N, D) = A / N^α + B / D^β + E

N= parametre (tökeltilmemiş).
D= eğitim simgeler.
α ≈ 0.34- Evet .β ≈ 0.28(kaykayla simetrik).
E ≈ 1.69, azaltabilir kayıp tavanı.
A ≈ 406- Evet .B ≈ 411- Evet .

İki terim birbirine karşı ticaret yaparken ölçerken.Nsabit hesaplama (C = 6ND) ile çözülür:

N_opt ≈ 0.6 × (C/6)^0.5
D_opt ≈ 0.6 × (C/6)^0.5
D_opt / N_opt ≈ 20

Hesaplama-optimal: Parametre başına 20 token.

Ne gerek var ki fazla eğitim görsün.

Chinchilla-optimal, her antrenman için antrenman kaybını en aza indirger.

Ayda bir trilyon tokeni hizmet veren bir chatbot için, sonuç toplam maliyet üzerinde egemenlik yapmaktadır. Llama'nın yaklaşımı: daha küçük, daha uzun tren. 8B'nin 15T tokenleri sonucun optimize edilmesiyle derin bir şekilde optimize edilmiştir:

İsteğe bağlı GPU'lara uyar.
Gecikme 70B Chinchilla-optimal bir bölümü.
Kalitesizlik çoğu görev için yeterince yakın.

DeepMind'in 2024 makalesinde ("Üzer eğitim yeni en iyi şeydir") bunu resmileştirdi. İhtiyaçlı iş yükleri için, doğru oran, servis hacmine bağlı olarak parametre başına 100500 tokene yakındır.

Çıkış vs. Düzgünlük

İddia: belirli yetenekler (aritmetik, çok adımlı akıl yürütme, düşünce zinciri takip) aniden bir ölçekte "gelen"ler.

Schaeffer et al. (2023) bunun bir ölçüm eseri olduğunu savundu: ortaya çıkan ölçümler, altındaki logitlerde düzgün bir gelişmeyi gizleyen kesintisiz puanlama (tam eşleşme, eşiğinde doğruluk) kullanır.

2026'da konsensüs: Sürekli kayıplar üzerinden tahminler güvenilirdir. Benchmark sıçramaları genellikle puanlama sanatlarıdır. Sürekli ölçümlere göre bütçeleri planlayın.

2026'daki resim.

Ölçekleme yasaları hala geçerlidir, ama:

Factor	Changed how
Data quality	Curating "good" tokens (Phi-style) shifts curves by >2× effective compute
MoE	Total params decouple from active FLOPs; scaling laws per-active-FLOP
Post-training	Some capabilities (instruction following, code) shift with SFT+RLHF more than pretraining
Multimodality	Image + text tokens scale together; separate curves per modality
Synthetic data	Models generate training data; effective compute can compound

Muon optimizer (Kimi Moonlight, 2024) eşleşen verilerde AdamW'ye göre ~2x etkili hesaplama kazancı gösterdi. 2026 eğitim sürümlerinin bazıları varsayılan olarak Muon kullanır.

Yapın

Bakın .code/main.pyChinchilla kaybı denklemini uygulayarak hesaplama-optimal için çözüyoruz .(N, D)Her bir hesaplama bütçesinin birinde.

Adım 1: Chinchilla kaybı

pythondef chinchilla_loss(N, D, A=406.4, B=410.7, alpha=0.34, beta=0.28, E=1.69):
    return A / N ** alpha + B / D ** beta + E

ÇeviriLBir kontur olarak (N, D)sabit olarak C = 6NDEn azını bul.

Adım 2: Bilgisayar-optimal sınır

Bilgisayar bütçeleri için 1e17- ...1e25FLOPs, bul (N, D)6ND = C- Rakipleri kontrol edin .D/N ≈ 20- Evet .

Adım 3: Üstü eğitim maliyeti

10× daha küçük bir model eğitimi için ödeyen ekstra kaybı hesaplayın (1/10'ün en iyi N, 10×'nın en iyi D).

4. adım: Gerçek modellerle karşılaştır

Bilinenleri gör .(N, D)GPT-3, Chinchilla, Llama 3 8B, DeepSeek-V3 (aktif paramlar) için çiftler ve tahmin edilen kayıp ile bildirilen kayıpları karşılaştırın.

Kullan

Kendiniz sınır modeli eğitmek için yeterli değilsiniz ama ölçekleme yasaları size şunu söylüyor:

Whether your fine-tune has enough data.Görev-özel verileriniz temel modelin parametre başına 20 tokenden aşağıysa, bir kayıp zemininde doymuşluğa sahip olmayı bekleyin.
Whether to pick a bigger base model.Bütün bütçenizi sonuç çıkarmaya harcıyorsanız, daha küçük, daha uzun süre eğitimli bir modeli tercih edin.
Where the returns diminish.1000× Chinchilla-optimal'ın ötesinde, günlük kaybı değişiklikleri gürültü haline gelir.

The research trajectory in 2026:

Data-constrained regime.Web'de sınırlı sayıda yüksek kaliteli token bulunmaktadır (filtreden sonra yaklaşık 5 10 trilyon İngilizce). Sınır öncesi eğitim bu tavanın yaklaştığını gösteriyor. Sintez veriler, çok dilli, multimodal ve RLHF ölçekli ince ayarlamalar bir sonraki kaldıraçlardır.
Compute-multiplier tricks.Muon optimizer, MoE, daha iyi veri kurasyonu her biri asimptote değil mutlak sabitleri değiştirir.
Scaling laws for RL.Açık soru. İlk kanıtlar RL örneklerinde güç yasasını gösteriyor ama eğitim öncesi olanlardan çok farklı bir gösterge ile.

Gönder

Bakın .outputs/skill-training-budget-estimator.md- Yetenek seçimi .(N, D, hours, GPU)Yeni bir eğitim süreci için hesaplama bütçesi, dağıtım kısıtlamaları ve hedef kaybı göz önüne alındı.

Egzersizler

Easy.Çık .code/main.py- Çincilla-optimal basın .(N, D)Bilgisayar bütçeleri için 1e20- Evet .1e22- Evet .1e24Gerçek model masasına kıyasla.
Medium.Hoffmann'ın hesaplama işlev kaybı eğrisini uygulayın.log10(C)Bilgisayar-optimal sınır için.>10^28FLOPs, önümüzdeki 0,1'lik çapraz entropi azaltımı için.
Hard.Aynı veri kümesi üzerinde eğitilen 5 küçük modelde (100K'den 10M'ye kadar) kendi ölçekleme yasasını uygulayın.αve E- Eksponentlerin yayınlananlarla ne kadar uyumlu?

Anahtar Terimler

Term	What people say	What it actually means
Parameters (N)	"Model size"	Non-embedding weight count; determines capacity.
Tokens (D)	"Training data"	Number of training tokens seen; determines how well the parameters get used.
Compute (C)	"FLOPs spent"	Approximately `6 × N × D` for a standard transformer.
Chinchilla-optimal	"D/N ≈ 20"	Ratio that minimizes loss per FLOP of pretraining.
Over-training	"Past Chinchilla"	Spend extra training FLOPs to save inference FLOPs; D/N >> 20.
Irreducible loss	"The floor"	The `E` term in the scaling law; the entropy of the data itself.
Emergent capability	"Sudden jumps at scale"	Often a scorer artifact; continuous loss is smooth.
Effective compute	"Training-efficiency multiplier"	Better data / optimizer / architecture multiplies how far a FLOP goes.

Daha Fazla Okumak

Kaplan et al. (2020). Scaling Laws for Neural Language Models ilk ölçekleme hukuku makalesi; yetersiz eğitimli.
Hoffmann et al. (2022). Training Compute-Optimal Large Language Models- Chinchilla.
Schaeffer et al. (2023). Are Emergent Abilities of Large Language Models a Mirage? ölçüm eseri olarak ortaya çıkış.
Sardana, Frankle (2024). Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws Llama'nın aşırı eğitimi neden iş yükü için doğru.
Jordan et al. (2024). Muon: An optimizer for hidden layers in neural networks2× hesaplama çarpıcısı.

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.