Phase 19: Capstone Projects

كابستون 14 خادم إضفاءات التخفيف المضاربة

Type: Capstone

Languages: Python (serving), C++ / CUDA (kernel inspection), YAML (configs)

Prerequisites: Phase 3 (deep learning), Phase 7 (transformers), Phase 10 (LLMs from scratch), Phase 17 (infrastructure)

Phases exercised:P3 · P7 · P10 · P17

Time: 30 hours

المشكلة

أصبح التشفير المضارب سلعة عام 2026. يقوم رؤساء مشروع EAGLE-3 بتدريب الحالات الخفية لنموذج الهدف ويتوقع رموز N في الأمام؛ يتحقق النموذج الهدف من خلال مرور واحد. معدلات القبول من 60-80٪ تتحول إلى 2-3x من الانتقال من نهاية إلى نهاية. vLLM 0.7 يدمج هذا بشكل طبيعي. SGLang + SpecForge يعطيك خط الأنابيب التدريبية. نشر المتضاربون في ريد هات مسودات متوافقة للاما 3.3 70B، Qwen3-Coder-30B MoE، GPT-OSS-120B.

السفن في عمليات الخدمة ، وليس النموذج. تتحرك معدل القبول مع توزيع حركة المرور (ShareGPT مقابل رمز مقابل بيانات النطاق). تأخر الذيل تحت الرفض أسوأ من دون تكهنة يجب عليك الإبلاغ p99 في أحجام دفعات متعددة ، وليس فقط رموز حالة ثابتة / ثانية. التكلفة لكل رموز 1M مقابل أنثروبات / OpenAI API هي موفوق المصداقية.

المفهوم

التشفير المضارب له طبقتينdraftالنموذج (قمة إيغل-3، ngram، أو نموذج أصغر المتحالفة مع الهدف) يقدم k رموز مرشحة لكل خطوة. targetيُحقق النموذج من جميع k في مرور واحد؛ أي مقدمة مقبولة تحل محل المسار البشع. يعتمد معدل القبول على التوجه المخطط-الهدف وتوزيع المدخل.

يضرب EAGLE-3 مسودات ngram على معظم حركة المرور. يقوم P-EAGLE بالتكهنات الموازية لشجرة مسودات أعمق. التنازل: P99 تأخير على رفض هو أعلى لأن مرسلة التحقق أكبر. يجب على تشكيل الخدمة الإبلاغ عن تأخير حجم البطاقة لتحقيق هذا.

النشر هو Kubernetes. vLLM 0.7 تعمل نسخة واحدة لكل GPU أو شق متوازي التنسور. HPA autoscales على انتظار الصف بدلا من CPU. FP8 (مارلين) و INT4 (AWQ) الكوانتات الحفاظ على ذاكرة GPU داخل لفافة H100 / H200. التقارير النهائية هي الانتقال، معدل قبول، p50 / p99 في المجموعة 1/8/32، والرموز $ / 1M.

الهندسة المعمارية

Copyrequest ingress
    |
    v
vLLM server (0.7) or SGLang (0.4)
    |
    +-- draft: EAGLE-3 heads | P-EAGLE parallel | ngram fallback
    +-- target: Llama 3.3 70B | Qwen3-Coder-30B | GPT-OSS-120B
    |     quantized FP8-Marlin or INT4-AWQ
    |
    v
verify pass: batch k draft tokens through target
    |
    v (accept prefix; resample for rejected suffix)
    v
token stream back to client
    |
    v
Prometheus metrics: throughput, acceptance rate, queue wait, latency p50/p99
    |
    v
HPA on queue-wait metric

الـ"كثيرة"

• الخدمة: vLLM 0.7 أو SGLang 0.4
• أساليب التكهنات: أشرطة إيغل-3، التكهنات المتوازية P-Eagle، إيغل
• مسودة التدريب: SpecForge (SGLang) أو Red Hat Speculators
• النماذج المستهدفة: Llama 3.3 70B، Qwen3-Coder-30B MoE، GPT-OSS-120B
• الكمية: FP8 (مارلين) ، INT4 AWQ
• النشر: Kubernetes + NVIDIA جهاز إضافة؛ HPA على المقياسات انتظار الصف
• Eval: ShareGPT، MT-Bench-v2، GSM8K، HumanEval لقياس قبول النطاقات
• المرجح: تنسير التشفير المضاربي لـ TensorRT-LLM لخط الأساسي للمورد

بناءها

1. Target model prep.اختر Llama 3.3 70B. قم بتحديد الكمية إلى FP8 عبر Marlin. قم بتنفيذ تحت vLLM 0.7 على 1xH100 (أو 2x متوازي التنسور).

1. Draft source.سحب رأس مشروع EAGLE-3 المُتواء من Red Hat Speculators (أو تدريب واحد عبر SpecForge). قم بتحميل إعدادات فك التشكيلات في vLLM.

1. Baseline numbers.قبل التكهنات: الوهم/الثانية في المجموعة 1/8/32، p50/p99 تأخير، استخدام GPU. نشر.

1. Enable EAGLE-3.إعادة تشكيل المرجعية نفسها إعادة تشغيل المرجعية إشارة سرعة، معدل قبول، p99 التخفيف التخفيف

1. P-EAGLE.تمكين التكهنات المتوازية؛ قياس أعمق شجرة الصفحة مقابل النسور المتسلسل-3.

1. Domain traffic.تشغيل ShareGPT مقابل HumanEval مقابل حركة المرور الخاصة بالمنطقة عبر نفس الخادم. قياس معدل قبول لكل توزيع. تحديد متى تتحرك المسودات.

1. Second target model.إشغال نفس الخط على Qwen3-Coder-30B MoE. المسودة أكثر صعوبة (صوت توجيه MoE). تقرير.

1. K8s HPA.النشر تحت K8s مع تعقب HPA queue_wait_ms-إثبات التوسع عند تثلاث الحمل

1. Cost comparison.حساب رموز $ / مليون مقابل النوعية النسخية كлод سونيت 4.7 و OpenAI GPT-5.4 على نفس التقييم. نشر.

استخدمها

Copy$ curl https://infer.example.com/v1/chat/completions -d '{"messages":[...]}'
[serve]     vLLM 0.7, Llama 3.3 70B FP8, EAGLE-3 active
[decode]    bs=8, accepted_tokens_per_step=3.2, acceptance_rate=0.76
[latency]   first-token 42ms, full-response 980ms (620 tokens)
[cost]      $0.34 per 1M output tokens at sustained throughput

أرسله

outputs/skill-inference-server.mdيصف المنتج، مجموعة تقاسات مع تشفير المضاربة، تقرير مقياس كامل، ونشر K8s.

التمارين

1. قياس تدهور معدل قبول عندما يكون المسودة نسخة واحدة خلف الهدف (مثل إلاما 3.3 -> 3.4 التحرك).

1. تنفيذ إرجاع النسب: إذا انخفض قبول EAGLE-3 إلى أقل من عتبة، قم بالانتقال إلى مسودات إرجام.

1. إنجاز تجربة مراقبة للطاقة البدنية: نفس Qwen3-Coder-30B مع ضجيج التوجيه المدفوع مقابل خارج. قياس حساسية قبول مشروع.

1. تمديد إلى H200 (141 غيغابايت) ، أبلغ عن حجم النموذج لكل نسخة رأس المكتسبة وما إذا كان بإمكانك خدمة Llama 3.3 70B غير مقياسية.

1. أظهر تشخيص التشخيص التكهنوي لـ TensorRT-LLM على نفس أجهزة H100

الشروط الرئيسية

المزيد من القراءة

• vLLM EAGLE and P-EAGLE documentation كومة الخدمات المرجعية
• P-EAGLE (AWS 2026) ورقة تشخيص المضاربة المتوازية + تكامل
• SGLang SpecForge خطة تدريبية للقائد المسرحي
• Red Hat Speculators مركز مشروع متوافق
• TensorRT-LLM speculative decodingالبدائل البائعة
• Fireworks.ai serving architecture إشارة تجارية
• EAGLE-3 paper (arXiv:2503.01840) ورقة الأسلوب
• vLLM repository الرمز والمؤشرات المرجعية

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.