Phase 17: Infrastructure & Production

خدمة الـ LLM متعددة الإقليمات وموقع الـ KV

توازن الحمل الجاري من المكالمات الضارة بشكل فعال للاستنتاجات المحتفظة لـ LLM. الطلب الذي لا يصل إلى العقدة التي تحتوي على مقدمة له يدفع تكلفة التمديد الكاملة حوالي 800 ms عند P50 على عرض طويل مقابل ~ 80 ms مع ضرب التخزين. في عام 2026 نمط الإنتاج هو جهاز توجيه واعي التخزين (vLLM Router in Rust ، llm-d router) الذي يستهلك أحداث التخزين KV والطرق على مطابقة المقبلات-hash. البحوث الأخيرة (GORGO) تجعل تأخير الشبكة عبر المنطقة مصطلح صريح في هدف التوجيه. العروض التجارية "الانتقاد عبر المنطقة" (تنتائج بيدروك عبر المنطقة، بوابات GKE متعددة الكلاستير) تعامل الانتقادات كمتناقضة أنها تتعامل مع الوصول، وليس TTFT. (بي مورغان) و (مايو كلينيك) قاموا بإجراء إغلاق في (مشرق واحد) في نوفمبر 2024 في حوالي 22 دقيقة الواقع الـ DR: 32% من فشلات الـ LLM DR هي لأن الفرق احتفظت بالأوزان ولكن نسيت ملفات الـ tokenizer أو إعدادات الكميات.

Type: Learn

Languages: Python (stdlib, toy prefix-cache-aware router simulator)

Prerequisites: Phase 17 · 04 (vLLM Serving), Phase 17 · 06 (SGLang RadixAttention)

Time: ~60 minutes

أهداف التعلم

  • شرح لماذا كسرات توازن الحمل الجولة المكشوفة تخفّض الاستنتاج وتحدد العقوبة TTFT.
  • رسم رسم جهاز توجيه واعي بالخزنة: المدخلات (حوادث تخزين KV) ، وال خوارزمية (المتطابقة بين المضيفات والخزف) ، وقطع الصلة (استخدام GPU).
  • أسمائ محرك إعطال DR 32٪ لـ LLMs (ملفات الجهاز المفتوحة / تكوينات الكميات) وذكر قائمة التحقق من DR ثلاث ملفات.
  • تمييز بين العروض التجارية عبر المنطقة (Bedrock CRI، GKE Multi-Cluster Gateway) عن التوجيهات المعرفة على KV.

المشكلة

خدمةكم تعمل في الولايات المتحدة- الشرقية-1، الولايات المتحدة- الغربية-2، والولايات المتحدة- الغربية-1، تضعين ALB أمامك مع دورة-المركز. تنخفض معدل ضربات الاحتفاظ بالتحفظات في الإنتاج إلى 8٪. تثبت TTFT P50. سجلات vLLM الخاصة بك تظهر كل طلب يدفع تكلفة كاملة من قبل.

دورة الروبن مثالية للخدمات التي لا تملك ولاية. استنتاج LLM هو حالة من خلال التصميم تخفيض KV كل ما رأى النموذج. التوجيه العمى هو التوجيه إلى الخزنة الخاطئة.

بشكل منفصل، فريقك لديه خطة DR. تقوم بتحميل أوزان النموذج إلى S3 عبر المنطقة. يحدث انقطاع إقليمي؛ تحاول التغلب؛ ترفض النسخة البدء. نسيت tokenizer.json، إعداد تعريف الكميات، وإعداد مقياس RoPE كان في سطل منفصل لم تزامن.

خدمة LLM متعددة المنطقة هي مشكلة التخزين ، مشكلة التوجيه ، ومشكلة نظافة DR وليس مشكلة ميزان الحمل.

المفهوم

التوجيهات المعرفة على الاحتفاظ بالخزنة

يصل الطلب مع طلب. يقوم الجهاز التوجيه بتحديد المثلي (قول، أول 512 رمزًا) ؛ يسأل كل نسخة "هل تم حفظ هذا المثلي في الاحتفاظ؟" تنشر النسخة أحداث KV-Cache على قناة / قناة فرعية أثناء تخصيصها وإزالة الكتل. يقوم الجهاز التوجيه بتحديد النسخة مع المقابلة ، ويتم تسريعها إلى مقطع الالتفاصيل القائمة على GPU إذا لم يفعل أحد.

vLLM Router(Rust، 2026 - stack production): يشترك في kv.cache.block_addedالأحداث، يحافظ على مؤشر إضافية-هاش → نسخة، طرق مع O(1) البحث. يمر عبر إلى أقل عمق في الصف عندما لا يوجد مطابقة.

llm-d router: نفس النمط، Kubernetes-أصلي. ينشر الأحداث عبر ControlPlane API.

SGLang RadixAttention(مرحلة 17 · 06) هي المكافئ داخل النسخة. التوجيه عبر النسخة هو صارمة أعلى التيار.

الأرقام

TTFT P50 على عرض 2K-token، Llama 3.3 70B FP8، H100:

  • ضربة الاحتفاظ (مثل النسخة، مقيم المرفق الأول): ~ 80 ms.
  • غياب الاحتفاظ (مليئة بالبرد): ~ 800 ms.

10x الفجوة. إذا وصل جهاز التوجيه الخاص بك 60-80% من الاحتفاظ بالمقاومة الاحتفاظ بها عبر النسخ، فإنك تقترب من أداء النسخة الواحدة عند قدرة N- النسخة. إذا وصل إلى 10%, فإنك تقترب من التوسع البطيء.

الإقليم المتبادل لديه قيود جديدة تأخير الشبكة

التسجيلات بين الإقليمات:

  • يو إس إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إيه إ إ إيه إيه إيه إيه إيه إيه إ إ إ إ إ إ إ إ إ إ إ إ إ إيه إيه إيه إ إ إ إيه إيه إ إ إيه إيه إ إ إ إ إ إ إ إ إ إ إ إيه إ إ إ إ إ إ إ إ إ إ إ إ إ إ إ إ إ إيه إ إ إ إ إ إ إيه إ إ إ إ إ إ إ إ إ إ إ إ إ إ إ إ
  • الولايات المتحدة- الشرق- 1 الاتحاد الأوروبي- الغرب- 1: ~ 75 ms.
  • الولايات المتحدة-شرق-1 جنوب-شرق-1: ~ 220 ms.

إذا أخذ التوجيه طلبًا من us-east-1 إلى محرف محترم في ap-southeast-1, يتم تخفيض الاحتفاظ بالملء المسبق (800 → 80 ms) بمقدار 440 ms في رحلة ذهاب وإياب. يجعل GORGO (2026 بحث) هذا صريح تقليل prefill_time + network_latencyفي كثير من الأحيان الجواب هو البقاء على توجيه الإقليمي ما عدا على مكالمات متعددة الميكروبات المكثفة حيث يهيمن قبل الاحتمال.

"التخمين عبر المنطقة" التجاري لا يساعد هنا

إستنتاج AWS Bedrock عبر المنطقة يقوم بتوجيه الطلبات تلقائيًا إلى مناطق أخرى أثناء ضغط القدرة. يُحسن التوافر ، وليس TTFT ، ويعامل الإستنتاج كمتنافس. بوابة GKE Multi-Cluster Gateway هي نفس فشل مستوى الخدمة ، لا يوجد إدراك لخزن KV.

لا يزال لديك حاجة إلى جهاز توجيه ذا الوعي بالخزنة في الطبقة التطبيقية حتى عند استخدام هذه. فإنها تتعامل مع حالة "شرق الولايات المتحدة-1 على النار".

النظافة الطبية مشكلة الملفات المفقودة 32٪

إحصاء عام 2026: 32% من فشلات الـ LLM DR تحدث لأن الفرق قد احتفظت بالأوزان ولكن نسيت:

  • tokenizer.jsonأوtokenizer.model
  • تشكيلات الكمية (quantize_config.json، مقياسات AWQ، نقاط صفر GPTQ)
  • التكوينات الخاصة بالنموذج (توسيع ROPE، أقنعة الاهتمام، شكلات الدردشة)
  • إعداد المحرك (vllm_config.yaml، إعداد العينات بشكل افتراضي ، إظهارات مُعدل LoRA)

الإصلاح هو ثلاثة ملفات أدنى بيان DR:

  1. جميع الملفات تحت نموذج HF repo (الأوزان + التكوينات + الوهم).
  2. إعداد خدمة خاصة بالحرك
  3. دليل النشر (K8s YAML، Dockerfile، قفل الاعتماد).

إضافةً إلى ذلك، قم بتدريبات الدراسة الدراسية كل ربع أشهر، تمكن "جي بي مورغان" من التعافي لمدة 22 دقيقة في نوفمبر 2024 فقط لأن كتاب اللعب تمت تدريبه

إقامة البيانات هي متقاطعة

لا يمكن لعميل الاتحاد الأوروبي PHI مغادرة الاتحاد الأوروبي. إذا أرسل جهاز التوجيه الخاص بك ذو الوعي بالخزنة محفظة طلب من باريس إلى us-east-1 لمقابلة المقبلات، فقد انتهاك GDPR بغض النظر عن مكاسب TTFT. تقسيم جهاز التوجيه حسب حدود الإقامة قبل تحسين الكاش.

أرقام يجب أن تتذكر

  • الاختلاف بين الوصول إلى الاحتفاظ بمقابل الفجوة TTFT: ~ 10x (80 ms مقابل 800 ms على عرض 2K).
  • التوقيت المتوسط بين المنطقة الولايات المتحدة - الاتحاد الأوروبي: ~ 75 ms.
  • فشل DR: 32% يفوتون إعدادات الـ Tokenizer/quant.
  • ج.ب.م.ورغان us-east-1 الإفلاس نوفمبر 2024: 22 دقيقة (30 دقيقة SLA).

استخدمها

code/main.pyيحاكي ثلاث استراتيجيات توجيه (مجموعة دورية، إقليمية واعية بالخزنة، عالمية واعية بالخزنة) على عبء عمل متعدد المناطق. يبلغ عن معدل ضربات الخزنة، TTFT P50/P99، وملف عبر المنطقة.

أرسله

هذا الدرس يُنتجoutputs/skill-multi-region-router.md. بالنظر إلى المناطق، القيود الإقامة، والمنطقة الساحلية، يقوم بتصميم خطة توجيه.

التمارين

  1. أركضcode/main.py. في أي طول سريع يتجاوز التوجيه عبر المنطقة التوجيه المحلي فقط، مع 75 ميس RTT؟
  2. معدل إصابة الجهاز الاحتياطي ينخفض من 70% إلى 12%. تشخيص ثلاثة أسباب محتملة والمواد الملاحظة التي تؤكد كل منها.
  3. تصميم بيان DR لنموذج 70B AWQ-Quantized خدم في vLLM مع 5 مكيّفات LoRA. قم بإعداد كل ملف وتكوين.
  4. جدل ما إذا كان استنتاج بيدروك عبر المنطقة "كافي" لشركة التكنولوجيا المالية مع TTFT SLOs الصارمة.
  5. طلب من باريس يطابق إضافة في الولايات المتحدة الشرقية 1 هل توجه؟

الشروط الرئيسية

TermWhat people sayWhat it actually means
Cache-aware routing"smart LB"Route on prefix-hash match to KV-cache-holding replica
KV-cache events"cache pub-sub"Replicas publish block add/evict; router indexes
Prefix hash"cache key"Hash of first N tokens used as router lookup
GORGO"cross-region routing research"arXiv 2602.11688; network latency as explicit term
Cross-region inference"Bedrock CRI"AWS product; availability failover, not TTFT awareness
DR manifest"the backup list"Every file needed to restore — not just weights
Data residency"GDPR boundary"Legal constraint on which region sees user data
RTT"round-trip time"Network latency; 75 ms US-EU, 220 ms US-APAC
LLM-aware LB"cache-hit LB"Cache-aware router as a product category

المزيد من القراءة

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.