बहु-क्षेत्र LLM सेवा और KV कैश स्थान
Type: Learn
Languages: Python (stdlib, toy prefix-cache-aware router simulator)
Prerequisites: Phase 17 · 04 (vLLM Serving), Phase 17 · 06 (SGLang RadixAttention)
Time: ~60 minutes
सीखने के लक्ष्य
- स्पष्ट करें कि गोल-रोबिन लोड बैलेंसिंग ब्रेक का कारण क्या है और टीटीएफटी दंड को मात्राबद्ध करें।
- कैश-जागरूक राउटर का चित्रण करेंः इनपुट (केवी-कैश घटनाएं), एल्गोरिथ्म (प्रिफिक्स-हैश मैच), टाई-ब्रेकर (जीपीयू उपयोग) ।
- एलएलएम (गुम टोकन फाइल्स / क्वांटिज़ेशन कॉन्फ़िग) के लिए 32% डीआर विफलता ड्राइवर का नाम दें और तीन-फाइल डीआर चेकलिस्ट बताएं।
- KV-सचेत रूटिंग से वाणिज्यिक क्रॉस-रेजनल ऑफर (Bedrock CRI, GKE मल्टी-क्लास्टर गेटवे) को अलग करें।
समस्या
आपकी सेवा US-East-1, US-West-2 और EU-West-1 में चलती है। आप एक ALB को राउंड-रोबिन के साथ सामने रखते हैं। उत्पादन में प्रीफिक्स कैश हिट दर 8% तक गिर जाती है। TTFT P50 तीन गुना। आपके vLLM लॉग में दिखाया गया है कि प्रत्येक अनुरोध पूर्ण प्रीफिल लागत का भुगतान कर रहा है।
राउंड-रोबिन स्टेटलेस सेवाओं के लिए इष्टतम है। एलएलएम निष्कर्ष डिजाइन द्वारा स्टेटफुल है केवी कैश मॉडल ने देखे गए सभी चीजों को एन्कोड करता है। रूटिंग ब्लाइंड गलत कैश में रूटिंग है।
अलग से, आपकी टीम के पास एक डीआर योजना है. आप एस 3 क्रॉस-रेजन के लिए मॉडल वजन का बैकअप लेते हैं। एक क्षेत्रीय आउटेज हिट करता है; आप विफलता का प्रयास करते हैं; प्रतिकृति शुरू करने से इनकार करती है। आप टोकनराइज़र.जेसन, क्वांटिज़ेशन कॉन्फ़िग और रोपी स्केलिंग कॉन्फ़िग को भूल गए हैं। आप एक अलग बाल्टी में थे जिसे आपने सिंक्रनाइज़ नहीं किया था।
बहु-क्षेत्र LLM सेवा एक कैश समस्या, एक रूटिंग समस्या, और एक DR- स्वच्छता समस्या है एक भार संतुलन समस्या नहीं है।
अवधारणा
कैश-जागरूक रूटिंग
अनुरोध एक प्रॉम्प्ट के साथ आता है। राउटर पूर्वावलोकन (कहें, पहले 512 टोकन); यह प्रत्येक प्रतिकृति से पूछता है "क्या आपके पास यह पूर्वावलोकन कैश किया गया है? " प्रतिकृति एक पब / उप-कनेल पर KV-कैश घटनाओं को प्रकाशित करती है क्योंकि वे ब्लॉक आवंटित और निकालें। राउटर मैच के साथ प्रतिकृति का चयन करता है, यदि कोई नहीं करता है तो GPU-उटिल-आधारित टाई-ब्रेकर के माध्यम से गिर जाता है।
vLLM Router(Rust, 2026 उत्पादन-स्टैक): subscribes to kv.cache.block_addedघटनाओं, एक पूर्वावलोकन हैश → प्रतिकृति सूचकांक बनाए रखता है, O(1) खोज के साथ मार्ग। कोई मैच नहीं होने पर न्यूनतम कतार गहराई तक गिर जाता है।
llm-d router: एक ही पैटर्न, Kubernetes-निवासी। ControlPlane एपीआई के माध्यम से घटनाओं प्रकाशित करता है।
SGLang RadixAttention(चरण 17 · 06) अंतर प्रतिकृति समकक्ष है। क्रॉस-प्रति प्रतिकृति रूटिंग सख्ती से अपस्ट्रीम है।
संख्याएँ
2K टोकन संकेत पर TTFT P50, Llama 3.3 70B FP8, H100:
- कैश हिट (एक ही प्रतिकृति, पूर्वनिर्धारित निवासी): ~80 ms.
- कैश मिस (कोल्ड प्रीफिल): ~ 800 ms.
10x अंतर. यदि आपका राउटर प्रतिकृति के बीच पूर्वनिर्धारित कैश का 60-80% तक पहुंचता है, तो आप N प्रतिकृति क्षमता पर एकल प्रतिकृति प्रदर्शन का अनुमान लगाते हैं। यदि यह 10% तक पहुंचता है, तो आप साफ़ पैमाने का अनुमान लगाते हैं।
क्रॉस-रेजन में एक नया प्रतिबंध है नेटवर्क विलंबता
अंतर-क्षेत्रीय आरटीटीः
- US-East-1 US-West-2: ~65 ms.
- अमेरिका-पूर्व-1 eu-पश्चिम-1: ~75 ms.
- अमेरिका-पूर्व-1 एपी-दक्षिण-पूर्व-1: ~ 220 ms.
यदि रूटिंग से us-east-1 से एक गर्म पूर्वावलोकन ap-southeast-1 में एक अनुरोध लेता है, तो सहेजे गए प्रीफिल (800 → 80 ms) को 440 ms द्वारा वापस जाने-जाने से छोटा कर दिया जाता है। GORGO (2026 अनुसंधान) यह स्पष्ट करता है न्यूनतम करें prefill_time + network_latencyअक्सर उत्तर क्षेत्रीय रूटिंग को बनाए रखना है, जब तक कि बड़े पैमाने पर बहु-एमबी प्रीफिक्स पर जहां प्रीफिल हावी होता है।
यहाँ वाणिज्यिक "क्षेत्र-पार अनुमान" मदद नहीं करता है
AWS Bedrock क्रॉस-रेजन इन्फेरेंस स्वचालित रूप से क्षमता दबाव के दौरान अन्य क्षेत्रों में अनुरोधों को रूट करता है। यह उपलब्धता को अनुकूलित करता है, TTFT नहीं, और इन्फेरेंस को अस्पष्ट मानता है। GKE मल्टी-क्लास्टर गेटवे एक ही सेवा स्तर के विफलता है, KV कैश की कोई जागरूकता नहीं है।
आप अभी भी एक एप-स्तर कैश-जाहिर राउटर की जरूरत है, यहां तक कि जब आप इन का उपयोग. वे संभालते हैं "अमेरिका पूर्व-1 आग है" मामले. कैश-जाहिर राउटिंग TTFT मामले को संभालता है.
डीआर स्वच्छता 32% फाइलों की कमी समस्या
2026 के व्यापक रूप से उद्धृत आंकड़ेः एलएलएम डीआर विफलताओं का 32% इसलिए होता है क्योंकि टीमों ने वजन का बैकअप लिया लेकिन भूल गएः
tokenizer.jsonयाtokenizer.model- क्वांटिज़ेशन कॉन्फ़िग (
quantize_config.json, AWQ स्केल, GPTQ शून्य बिंदु) - मॉडल विशिष्ट कॉन्फ़िगरेशन (रोपीई स्केलिंग, ध्यान मास्क, चैट टेम्पलेट)
- इंजन कॉन्फ़िगरेशन (
vllm_config.yaml, नमूनाकरण डिफ़ॉल्ट, LoRA एडाप्टर manifests)
फिक्स तीन फ़ाइलों न्यूनतम DR घोषणा हैः
- एचएफ मॉडल रेपो (वेट + कॉन्फ़िग + टोकनराइज़र) के तहत सभी फ़ाइलें।
- इंजन विशिष्ट सेवा विन्यास।
- तैनाती प्रपत्र (K8s YAML, Dockerfile, निर्भरता लॉक)
इसके अलावा, एक डीआर ड्रिल त्रैमासिक चलाएं. जेपी मॉर्गन यूएस-ईस्ट-1 ड्रिल नवंबर 2024 में 22 मिनट की रिकवरी हासिल की केवल इसलिए क्योंकि प्लेबुक का अभ्यास किया गया था।
डेटा निवास orthogonal है
यूरोपीय संघ के ग्राहक PHI यूरोपीय संघ से बाहर नहीं निकल सकता है। यदि आपका कैश-जागरूक राउटर एक पूर्वोत्तर मैच के लिए पेरिस से उत्पन्न अनुरोध us-east-1 को भेजता है, तो आपने TTFT लाभ के बावजूद GDPR का उल्लंघन किया है। कैश के लिए अनुकूलित करने से पहले निवास सीमा द्वारा विभाजन राउटर।
संख्याओं को याद रखना चाहिए
- कैश हिट बनाम मिस टीटीएफटी अंतरः ~ 10x (80 एमएस बनाम 800 एमएस 2K प्रॉम्प्ट पर) ।
- अंतर-क्षेत्रीय आरटीटी यूएस-यूरोपीय संघः ~75 ms.
- आरआर विफलताः 32% टोकनराइज़र/क्वांट कॉन्फ़िग को मिस करते हैं।
- जेपी मॉर्गन यूएस-ईस्ट-1 फेलओवर नवंबर 2024: 22 मिनट (30 मिनट SLA) ।
इसका प्रयोग करें
code/main.pyबहु-क्षेत्र कार्यभार पर तीन रूटिंग रणनीतियों (राउंड-रोबिन, कैश-जाहिर क्षेत्रीय, कैश-जाहिर वैश्विक) का अनुकरण करता है। कैश हिट दर, TTFT P50/P99 और क्रॉस-क्षेत्र बिल रिपोर्ट करता है।
इसे भेजें
यह सबक हमें फल देता हैoutputs/skill-multi-region-router.md. क्षेत्रों, निवास प्रतिबंधों और एसएलए को देखते हुए, एक रूटिंग योजना तैयार करता है।
व्यायाम
- दौड़ें
code/main.py. 75 ms RTT के साथ अंतर-क्षेत्रीय रूटिंग केवल स्थानीय रूटिंग से कितनी शीघ्र लंबाई पर होती है? - आपके कैश हिट दर 70% से 12% तक गिर जाती है तीन संभावित कारणों का निदान करें और उन अवलोकन योग्य वस्तुओं की पुष्टि करें जो प्रत्येक की पुष्टि करेंगे।
- 5 लोरा एडाप्टरों के साथ vLLM में सेवा 70B AWQ- क्वांटिज़्ड मॉडल के लिए DR मैनिफिस डिज़ाइन करें। प्रत्येक फ़ाइल और कॉन्फ़िग को सूचीबद्ध करें।
- तर्क दें कि क्या बेड्रॉक क्रॉस-रेजन इन्फेरेंस सख्त टीटीएफटी एसएलओ वाले फिनटेक के लिए "पर्याप्त" है। विशिष्ट व्यवहारों का उल्लेख करें।
- पेरिस से एक अनुरोध पूर्व अमेरिका में एक पूर्वावलोकन से मेल खाता है 1। क्या आप इसे मार्ग? पॉलिसी लिखें.
प्रमुख शर्तें
| Term | What people say | What it actually means |
|---|---|---|
| Cache-aware routing | "smart LB" | Route on prefix-hash match to KV-cache-holding replica |
| KV-cache events | "cache pub-sub" | Replicas publish block add/evict; router indexes |
| Prefix hash | "cache key" | Hash of first N tokens used as router lookup |
| GORGO | "cross-region routing research" | arXiv 2602.11688; network latency as explicit term |
| Cross-region inference | "Bedrock CRI" | AWS product; availability failover, not TTFT awareness |
| DR manifest | "the backup list" | Every file needed to restore — not just weights |
| Data residency | "GDPR boundary" | Legal constraint on which region sees user data |
| RTT | "round-trip time" | Network latency; 75 ms US-EU, 220 ms US-APAC |
| LLM-aware LB | "cache-hit LB" | Cache-aware router as a product category |
आगे पढ़ना
- BentoML — Multi-cloud and cross-region inference
- arXiv — GORGO (2602.11688) नेटवर्क विलंबता अवधि के साथ क्रॉस-रेजन KV-कैश पुनः उपयोग।
- TianPan — Multi-Region LLM Serving Cache Locality
- AWS Bedrock Cross-Region Inference उपलब्धता विफलता दस्तावेज।
- vLLM Production Stack Router कैश-जागरूक राउटर स्रोत।
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.