Phase 09: Reinforcement Learning

RL للألعاب ألفا زيرو ، MuZero ، والعصر LLM-المنطق

Type: Build

Languages: Python

Prerequisites: Phase 9 · 05 (DQN), Phase 9 · 08 (PPO), Phase 9 · 09 (RLHF), Phase 9 · 10 (MARL)

Time: ~120 minutes

المشكلة

اللعب لديه كل ما يريده RL. مكافأة نظيفة (الفوز / الخسارة). حلقات لا نهاية لها (إعادة تعيين اللعب الذاتي). محاكاة مثالية (اللعبة هي المحاكاة). مساحات عمل متواصلة أو صغيرة. بنية متعددة العملاء التي تدفع قوة العداوة.

واللعب هو كيف كل اختراق رلي رئيسية تم اختبارها. (بيكغامون، 1992). أتاري-دي كيو إن (2013). ألفاغو (2016) ألفا زيرو (2017). OpenAI Five (دوتا 2، 2019). ألفا ستار (ستار كرافت II، 2019). موزرو (نموذج متعلم، 2019). الفا تينزور (تضاعف المصفوفة، 2022). ألفا ديف (ال خوارزميات التفرقة، 2023). DeepSeek-R1 (الاعتقاد الرياضي، 2025) أحدث إثبات أن تقنيات اللعبة-RL تعمل على النص.

هذه الحجر الرئيسي يستطلع ثلاث معمارات هامة ألفا زيرو، موزيرو، و GRPO من خلال عدسة موحدة واحدة: self-play + search + policy improvement. كل منهما يعملي ما سبق؛ وبالأخص GRPO هو وصفة ألفا زيرو المطبقة على التفكير في ماجستير في مجال القانون، مع الرموز كعملات والتحقق الرياضي كإشارة الفوز.

المفهوم

!AlphaZero ↔ MuZero ↔ GRPO: same loop, different environments

The unifying loop.

Copywhile True:
    trajectory = self_play(current_policy, search)     # play game against self
    policy_target = search.improved_policy(trajectory) # search improves raw policy
    policy_net.update(policy_target, value_target)     # supervised on search output

AlphaZero (2017).الفضة وغيرها. في اللعبة (الشطرنج، الشوجي، الجو) مع قواعد معروفة:

• شبكة القيمة السياسية: برج واحد f_θ(s) → (p, v). .pهو مقدم على التحركات القانونية.vهو النتيجة المتوقعة من اللعبة.
• البحث عن شجرة مونت كارلو (MCTS): في كل خطوة، توسع شجرة من المواصلات المحتملة. استخدام (p, v)كـ "المركز السابق + التشغيل". اختر العقدات حسب UCB (PUCT): a* = argmax Q(s, a) + c · p(a|s) · √N(s) / (1 + N(s, a)). . .
• لعب الذاتي: لعب ألعاب عميل ضد عميل.t، توزيع زيارات المكثولاتπ_tيصبح هدف التدريب السياسي.
• الخسارة:L = (v - z)² - π · log p + c · ||θ||². .zهو نتيجة اللعبة (+1 / 0 / -1).

صفر معارف بشرية، صفر هيرستيات صناعية يدوياً وصفة واحدة تتقن الشطرنج، الشوجي، والذهاب بعد عدة عشرات الملايين من ألعاب اللعب الذاتي

MuZero (2019).إزالة الاحتياج من معرفة القواعد

• بدلاً من بيئة ثابتة، تعلم نموذج ديناميكي متخفي(h, g, f):

- h(s): تشفير الملاحظة إلى حالة غامضة.

- g(s_latent, a): التنبؤ بالحالة الخفية القادمة + المكافأة.

- f(s_latent): التنبؤ بالسياسة السابقة + القيمة.

• يُجري MCTS في الفضاء الخفي المُتعلّم نفس البحث، نفس حلقة التدريب.
• يعمل على الجو، الشطرنج، الشوجي و أتاري خوارزمية واحدة، لا معرفة القواعد.

Stochastic MuZero (2022).يضيف الديناميكيات الاستوكاسية وعقدات العرض؛ يمتد إلى ألعاب فئة اللعب الخلفي.

Muesli, Gumbel MuZero (2022-2024).تحسينات في كفاءة العينات والبحث الدستري.

GRPO (2024-2025).وصفة DeepSeek-R1 نفس الحلقة ذات شكل ألفا زيرو، تطبق على التفكير نموذج اللغة:

• "العاب": الإجابة على مشكلة الرياضيات / التشفير / التفكير. "الفوز" = المؤكد (جوزات حالة الاختبار، تجازات الإجابة العددية) يعود 1.
• السياسة: ماجستير في مجال القانون. الإجراءات: الرموز. الحالة: السرعة + الاستجابة-حتى الآن.
• لا يوجد نقدي (في نمط (PPO) V_φ) بدلاً من ذلك ، لكل طلب ، عينة Gإكمالات من السياسة حساب مكافأة لكل واحدgroup-relative advantage A_i = (r_i - mean_r) / std_rكإشارة لتحديث على النمط REINFORCE.
• عقوبة KL إلى سياسة مرجعية لمنع الانحراف (مثل RLHF).
• الخسارة الكاملة:

L_GRPO(θ) = -E_{q, {o_i}} [ (1/G) Σ_i A_i · log π_θ(o_i | q) ] + β · KL(π_θ || π_ref)

لا نموذج مكافأة، لا نقاد، لا MCTS. يبدل الجدول الأساسي للجماعة الثلاثة. يطابق أو يتجاوز جودة PPO-RLHF على معايير التفكير في جزء صغير من الحساب.

The R1 recipe in full.DeepSeek-R1 (DeepSeek 2025) هو نموذجين في ورقة واحدة:

• R1-Zero.البدء من النموذج الأساسي DeepSeek-V3. لا SFT. تطبيق GRPO مباشرة مع عنصرين مكافأة: مكافأة الدقة (قاعدة قائمة هل الجواب النهائي تحليل إلى الرقم الصحيح / هل اجتاز رمز اختبارات الوحدة) و مكافأة النموذج (هل استكمال لفصل سلسلة التفكير في <think>…</think>على مدى آلاف الخطوات، يزداد متوسط طول الاستجابة من ~100 إلى ~10,000 رمز وترتفع درجات مقياس الرياضيات إلى مستويات قريبة من o1 . يتعلم النموذج التفكير من الصفر. الجانب السلبي: أن سلسلة أفكاره لا يمكن قراءتها غالبًا ، وتختلط اللغات ، ونقص النموذجية.
• R1.إصلاح مشاكل القراءة R1-Zero مع خط أنابيب أربعة مراحل:

1. Cold-start SFT.جمع بضعة آلاف من المظاهرات طويلة من CoT مع تنسيق نظيف، وراقب-تحسين النموذج الأساسي عليها. وهذا يوفر نقطة بداية قابلة للقراءة.

2. Reasoning-oriented GRPO.تطبيق GRPO مع مكافآت الدقة + الشكل بالإضافة إلى مكافأة التوافق اللغوي لمنع تغيير الرمز.

3. Rejection sampling + SFT round 2.قم بعمل نموذج من مسارات التفكير ~ 600K من نقطة تفتيش RL ، وابق فقط تلك التي لديها إجابات نهائية صحيحة و CoT القراءة ، وجمع مع ~ 200K غير مثالات SFT غير معقولة (الكتابة ، QA ، التعرف على الذات).

4. Full-spectrum GRPO.جولة أخرى من المعلومات المتعلقة بالتحديد والتحديد تغطي كل من التفكير (المكافآت القائمة على القواعد) والتنسيق العام (المكافآت القائمة على تفضيل المفيدية/الغير الضارة).

النتيجة تتطابق مع o1 على AIME و MATH-500 عند الوزن المفتوح ، وهي صغيرة بما فيه الكفاية لتحلية. نفس الورقة أيضاً تطلق ستة نماذج كثيفة محلية (Qwen-1.5B إلى Llama-70B) عن طريق SFT'ing على آثار التفكير R1 لا RL لدى الطالب. تحلية معلم RL قوية تضرب باستمرار RL من الصفر على مقياس الطالب.

Why GRPO instead of PPO for reasoning.ثلاثة أسباب في ورقة DeepSeekMath (فبراير 2024): (1) لا شبكة قيمة لتدريب، وتقليل الذاكرة؛ (2) يدير خط الأساس المجموعة بشكل طبيعي مكافأة نهاية المسار النادرة التي تنتجها مهام التفكير؛ (3) يجعل التطبيع على الفور مزايا مقارنة عبر مشاكل صعوبة مختلفة للغاية، والتي لا يمكن للمنتقد الوحيد لـ PPO أن يفعل.

Search-free vs search-based.اللعبات تمت إشراكه:

• لعبات المعلومات المثالية مع آفاق طويلة (ذهب، الشطرنج): لا تزال قائمة على البحث. يهيمن ألفا زيرو / موزيرو.
• التفكير في إدارة الدراسة العلمية: لا توجد MCTS في الإنتاج بعد؛ GRPO على التنفيذ الكامل، أفضل من N للحسابات الاستنتاجية.

بناءها

الرمز فيcode/main.pyأدوات GRPO in miniature القاتل الذي يحتوي على مجموعات متعددة من العينات. ال خوارزمية هي نفسها على ماجستير في العلوم العليا؛ إلا أن السياسة والبيئة أبسط. يدرس الخسارة والفائدة النسبية للجماعة * ، والتي هي الابتكار 2025.

الخطوة الأولى: بيئة تحقيقة صغيرة

pythonCopyQUESTIONS = [
    {"prompt": "q1", "correct": 3},
    {"prompt": "q2", "correct": 1},
]

def verify(prompt_idx, answer_token):
    return 1.0 if answer_token == QUESTIONS[prompt_idx]["correct"] else 0.0

في GRPO الحقيقي يقوم المؤكد بإجراء اختبارات وحدة أو التحقق من المساواة الرياضية.

الخطوة 2: السياسة: softmax على رموز الرد K لكل طلب

pythonCopydef policy_probs(theta, p_idx):
    return softmax(theta[p_idx])

يعادل الناتج النهائي للقاعدة العليا المشتركة على الإستعراض.

الخطوة الثالثة: أخذ العينات في المجموعة والفائدة النسبية للجماعة

pythonCopydef grpo_step(theta, p_idx, G=8, beta=0.01, lr=0.1, rng=None):
    probs = policy_probs(theta, p_idx)
    samples = [sample(probs, rng) for _ in range(G)]
    rewards = [verify(p_idx, s) for s in samples]
    mean_r = sum(rewards) / G
    std_r = stddev(rewards) + 1e-8
    advs = [(r - mean_r) / std_r for r in rewards]

    for a, A in zip(samples, advs):
        grad = onehot(a) - probs
        for i in range(len(probs)):
            theta[p_idx][i] += lr * A * grad[i]
    # KL penalty: pull theta toward reference
    for i in range(len(probs)):
        theta[p_idx][i] -= beta * (theta[p_idx][i] - reference[p_idx][i])

الميزة النسبية للجماعة هي خدعة 2024 DeepSeek. لا حاجة للمنتقد. "المرحلة الأساسية" هي متوسط المجموعة، وتستخدم التطبيع مجموعة std.

الخطوة الرابعة: مقارنة مع خطة الأساسية لـ REINFORCE (بدون قيمة)

نفس الإعداد، نفس الحساب، مجرد تعزيز، جرويبو يتقارب أسرع وأكثر استقرارًا.

الخطوة 5: ملاحظة الإنتروبي و KL

نفس التشخيصات مثل RLHF: متوسط KL للإشارة، الإنتروبي السياسي، مكافأة فوق الوقت. بمجرد أن تستقر هذه، يتم التدريب.

الفخاخ

• Reward hacking via verifier gaming.ورثت شركة GRPO مخاطر RLHF: إذا كان المحقق خاطئًا أو يمكن استغلاله، فسوف يجد LLM الاستغلال.
• Group size too small.التباين في خط الأساس للمجموعة هو 1/√GأسفلG = 4إشارة الميزة ضوضاء ، اختيار القياس هوG = 8إلى64. . .
• Length bias.إكمالات LLM من أطول مختلفة لها احتمالات سجل مختلفة. عادي من خلال عدد الرمز، أو استخدام مستوى التسلسل سجل-بصيرة، أو تقسيم إلى أقصى طول.
• Pure self-play cycles.يمكن أن يعلق التدريب على النمط الألفازي في حلقات الهيمنة في ألعاب الجملة العامة. يتم تخفيف ذلك من قبل مجموعة متنوعة من المعارضين (لعب الدوري، الدروس 10).
• Search-policy mismatch.يقوم ألفا زيرو بتدريب السياسة لتحاكي نتائج البحث. إذا كان شبكة السياسة صغيرة جداً لتمثيل توزيع البحث، فإن التدريب يتوقف.
• Compute floor.تحتاج MuZero / AlphaZero إلى حوسبة ضخمة. عادة ما تكون عملية إزالة واحدة مئات ساعات GPU. توجد ديموات صغيرة (مثل AlphaZero على Connect Four) للتعلم.
• Verifier coverage.اختبارات الوحدة التي تمت مع حل الحذاء تعزز الحذاء تصميم المحققين الذين يلتقطون الحالات الحافة.

استخدمها

المشهد لعبة 2026 - RL ، حسب المجال:

الوصفة لعب الذاتي، التحسين المزدوج بالبحث، تنسخ السياسات يتجاوز النص، البيكسلات، والتحكم المادي. GRPO هي أصغر مثال؛ المزيد قادمة.

أرسله

إبقواoutputs/skill-game-rl-designer.md:

markdownCopy---
name: game-rl-designer
description: Design a game-RL or reasoning-RL training pipeline (AlphaZero / MuZero / GRPO) for a given domain.
version: 1.0.0
phase: 9
lesson: 12
tags: [rl, alphazero, muzero, grpo, self-play]
---

Given a target (perfect-info game / imperfect-info / Atari / LLM reasoning / combinatorial), output:

1. Environment fit. Known rules? Markov? Stochastic? Multi-agent? Informs AlphaZero vs MuZero vs GRPO.
2. Search strategy. MCTS (PUCT with learned prior), Gumbel-sampled, best-of-N, or none.
3. Self-play plan. Symmetric self-play / league / offline data / verifier-generated.
4. Target signal. Game outcome / verifier reward / preference / learned model. Include robustness plan.
5. Diagnostics. Win rate vs baseline, ELO curve, verifier pass rate, KL to reference.

Refuse AlphaZero on imperfect-info games (route to CFR). Refuse GRPO without a trusted verifier. Refuse any game-RL pipeline without a fixed baseline opponent set (self-play ELO is uncalibrated otherwise).

التمارين

1. Easy.تنفيذ القاتل GRPO في code/main.py. تدريب على 2 طلبات × 4 رموز الإجابة كل. التقارب في < 1000 تحديثات مع G=8. . .
2. Medium.قم بتقارن كفاءة العينة وتباين الجائزة مع جروبو على نفس القاتل
3. Hard.تمديد إلى "سلسلة التفكير" طويلة-2: يقوم الوكيل بإصدار رموز اثنين ويمكّن المؤكد من مكافأة الزوج. قياس كيفية تعامل GRPO مع تعيين الائتمان عبر تسلسل خطويين. (تلميح: ميزة مجموعة الحساب لكل سلسلة كاملة، انتشر إلى كلا المراكز الرمزية).

الشروط الرئيسية

المزيد من القراءة

• Silver et al. (2017). Mastering the game of Go without human knowledge (AlphaGo Zero). . .
• Silver et al. (2018). A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play (AlphaZero). . .
• Schrittwieser et al. (2020). Mastering Atari, Go, chess and shogi by planning with a learned model (MuZero). . .
• Vinyals et al. (2019). Grandmaster level in StarCraft II (AlphaStar). . .
• DeepSeek-AI (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (GRPO) الورقة التي أدخلت GRPO والخط الأساسي المتعلق بالجماعة.
• DeepSeek-AI (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning وصفة R1 كاملة من أربع مراحل بالإضافة إلى إزالة R1-Zero.
• Brown et al. (2019). Superhuman AI for multiplayer poker (Pluribus) CFR + التعلم العميق على نطاق واسع.
• Tesauro (1995). Temporal Difference Learning and TD-Gammon-الورقة التي بدأت كل شيء
• Hugging Face TRL — GRPOTrainer مرجع الإنتاج لتطبيق GRPO مع وظائف مكافأة مخصصة.
• Qwen Team (2024). Qwen2.5-Math — GRPO replication نسخة مفتوحة من وصفة R1 على مقياسات متعددة.
• Sutton & Barto (2018). Ch. 17 — Frontiers of Reinforcement Learning إطار الكتب المدرسية لللعب الذاتي والبحث وال "مكافأة المصممة" التي يوضحها R1 على مستوى LLM.

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.