Phase 17: Infrastructure & Production

LLM उत्पादन के लिए अराजकता इंजीनियरिंग

2026 में एलएलएम के लिए अराजकता इंजीनियरिंग का अपना विषय है। उत्पादन में प्रयोग चलाने से पहले की आवश्यकताएंः परिभाषित SLI/SLO, ट्रैक+मेट्रिक+लॉग अवलोकनशीलता, स्वचालित रोलबैक, रनबुक, ऑन-कॉल। वास्तुकला में चार स्तर हैंः नियंत्रण (प्रयोग अनुसूचक), लक्ष्य (सेवाएं, इन्फ्रारेड, डेटा स्टोर), सुरक्षा (गार्ड + ऑबर्ट + ट्रैफिक फ़िल्टर), अवलोकन (मीट्रिक्स + निशान + लॉग), प्रतिक्रिया (एसएलओ समायोजन में) । गार्डरेल अनिवार्य हैंः जलने की दर के अलर्ट प्रयोगों को रोकते हैं यदि दैनिक त्रुटि-बजट जलने की अपेक्षा > 2 गुना है; दमन खिड़कियां + ट्रैक-आईडी संबद्धता अलर्ट शोर का अनुमान। कैडेन्सः साप्ताहिक छोटे कैनरी + एसएलओ समीक्षा; मासिक खेल दिवस + पोस्टमार्टम; त्रैमासिक क्रॉस-टीम लचीलापन ऑडिट + निर्भरता मानचित्रण। एलएलएम-विशिष्ट प्रयोगः मेमोरी ओवरलोड, नेटवर्क विफलता, प्रदाता आउटेज, गलत रूपरेखा प्रमाणीकरण, केवी कैश निष्कासन तूफान। उपकरणः हर्नस कैस इंजीनियरिंग (एलएलएम से प्राप्त सिफारिशें, विस्फोट-रैशस डाउनस्केल, एमसीपी उपकरण एकीकरण); लिटमुस कैस (सीएनसीएफ); कैस मेश (सीएनसीएफ कुबेरनेट्स-निवासी) ।

Type: Learn

Languages: Python (stdlib, toy chaos experiment runner)

Prerequisites: Phase 17 · 23 (SRE for AI), Phase 17 · 13 (Observability)

Time: ~60 minutes

सीखने के लक्ष्य

पांच अराजकता इंजीनियरिंग आवश्यकताओं (SLI/SLO, अवलोकन, रोलबैक, रनबुक, ऑन कॉल) का नाम दें और समझाएं कि किसी भी परछाई से अभ्यास क्यों टूटता है।
चार स्तरों (नियंत्रण, लक्ष्य, सुरक्षा, अवलोकन) और प्रतिक्रिया लूप को SLO में चित्रित करें।
पांच एलएलएम-विशिष्ट प्रयोगों का नाम लिखें (मेमोरी ओवरलोड, नेटवर्क विफलता, प्रदाता आउटेज, गलत प्रॉम्प्ट, केवी निष्कासन तूफान) ।
एक उपकरण चुनें हर्न, लिटमसChaos, Chaos Mesh दिए गए ढेर।

समस्या

पारंपरिक स्टैक में अराजकता परीक्षण स्थापित किया गया है। एलएलएम स्टैक नए विफलता मोड जोड़ते हैं। एक जहरीले चरित्र के साथ एक 4K-टोकन प्रॉम्प्ट टोकनराइज़र को 12 सेकंड के लिए रोकता है। एक अपस्ट्रीम प्रदाता 429s; आपका गेटवे पुनः प्रयास करता है; आपकी सेवा OOMs पुनः प्रयास-प्रगतिशील समवर्ती पर है। एक KV कैश निष्कासन तूफान विस्फोट भार के तहत फिर से भरने वाले कैस्केड का कारण बनता है जो गणना संतृप्त करते हैं।

इनमे से कोई भी इकाई परीक्षणों में दिखाई नहीं देता है. अराजकता इंजीनियरिंग यह है कि आप उन्हें उपयोगकर्ताओं से पहले कैसे पता चलता है.

अवधारणा

पूर्व शर्तें

बिना उत्पादन में अराजकता चलाएंः

SLI/SLO सेवा स्तर के संकेतकों और उद्देश्यों को परिभाषित किया गया।
Observability निशान, मीट्रिक, लॉग, डैशबोर्ड पर तार।
Automated rollback चरण 17 · 20 नीतिगत ध्वज वापसी।
Runbooks संरचनात्मक, चरण 17 · 23.
On-call किसी को जवाब देने के लिए।

किसी भी तरह की कमी का मतलब है कि अराजकता वास्तविक घटना बन जाती है।

चार विमान + प्रतिक्रिया

Control plane प्रयोग अनुसूचक (लिटमस वर्कफ़्लो, Chaos Mesh अनुसूची, Harness UI) ।

Target plane सेवाएं, कैप्सूल, नोड्स, लोड बैलेंसर, डेटा स्टोर।

Safety plane मार स्विच, दमन खिड़कियां, विस्फोट त्रिज्या सीमा, त्रुटि-बजट गेट।

Observability plane सामान्य माप + ट्रैक-आईडी संयोगता प्राकृतिक विफलताओं से अराजकता-प्रेरित अंतर करने के लिए।

Feedback loop निष्कर्ष SLO समायोजन, रनबुक अपडेट, कोड फिक्स में वापस आते हैं।

गार्डरेल अनिवार्य हैं

Burn-rate alert: यदि दैनिक त्रुटि-बजट जलने की अपेक्षा 2 गुना से अधिक हो तो विराम प्रयोग करें।
Suppression windows: प्रयोग के दौरान विस्फोट त्रिज्या में गैर-प्रयोग अलर्ट को चुप कराएं।
Trace-ID correlation: प्रयोग से उत्पन्न सभी त्रुटियों में एक टैग होता है ताकि कॉल पर निष्कर्ष निकाला जा सके।

पांच एलएलएम विशिष्ट प्रयोग

Memory overload उच्च समवर्तीता के साथ लंबी-सापेक्ष अनुरोध भेजकर KV कैश पूर्ववर्ती तूफान को मजबूर करें। ध्यान देंः क्या सेवा नेकपन से गिरती है या दुर्घटनाग्रस्त होती है?

Network failure अनुमान गेटवे और प्रदाता के बीच कनेक्टिविटी का कटौती करें। ध्यान देंः क्या SLA के भीतर बैकअप की शुरुआत होती है? (चरण 17 · 19)

Provider outage simulation 100% 429 OpenAI से। ध्यान देंः क्या राउटिंग को एंथ्रोपिक में विफलता है? (चरण 17 · 16, 19)

Malformed prompt टोकनइज़र-स्टॉलिंग उपयोगिता लोड इंजेक्ट करें (उदाहरण के लिए, गहरे गुंबद वाले यूनिकोड, विशाल UTF-8 कोडपॉइंट) । ध्यान देंः क्या एक एकल अनुरोध एक कार्यकर्ता को लॉक करता है?

KV eviction storm वीएलएलएम ब्लॉक बजट से संतृप्त करके मजबूर निकासी। ध्यान देंः क्या एलएमसीचे ठीक हो जाता है या सेवा बिगड़ती है?

कैडेन्स

Weekly मंचन में छोटे कैनरी प्रयोग, शायद 5% प्रूड।
Monthly एक विशिष्ट परिदृश्य पर निर्धारित खेल का दिन; क्रॉस-टीम उपस्थिति; पोस्टमार्टम।
Quarterly क्रॉस-टीम रेसिलेबिलिटी ऑडिट; निर्भरता मानचित्र अद्यतन।

उपकरण

Harness Chaos Engineering वाणिज्यिक; एआई से प्राप्त प्रयोग सिफारिशें; विस्फोट त्रिज्या को कम करना; एमसीपी उपकरण एकीकरण।
LitmusChaos सीएनसीएफ स्नातक; कुबेरनेट्स वर्कफ़्लो आधारित।
Chaos Mesh सीएनसीएफ रेत बॉक्स; कुबेरनेट्स-निवासी सीआरडी शैली।
Gremlin वाणिज्यिक; व्यापक समर्थन।
AWS FIS/Azure Chaos Studio प्रबंधित क्लाउड ऑफ़र।

छोटी से शुरू करना

पहला प्रयोगः स्थिर यातायात के तहत एक डिकोड प्रतिकृति को पॉड-कट करें। री-राउटिंग और रिकवरी का निरीक्षण करें। यदि यह काम करता है और सुरक्षित लगता है, तो नेटवर्क अराजकता में स्नातक करें।

पहला एलएलएम-विशिष्ट प्रयोगः एक प्रदाता को 5 मिनट के लिए 429 इंजेक्शन दें। बैकअप का निरीक्षण करें। अधिकांश टीमों को पता चलता है कि उनका बैकअप पूरी तरह से परीक्षण नहीं किया गया था।

संख्याओं को याद रखना चाहिए

चार विमानः नियंत्रण, लक्ष्य, सुरक्षा, अवलोकन।
जलने की दर का विरामः अपेक्षित दैनिक बजट जलने का 2 गुना।
कैडेन्स: साप्ताहिक कैनरी, मासिक खेल दिवस, तिमाही लेखा परीक्षा।
पांच एलएलएम प्रयोगः स्मृति, नेटवर्क, प्रदाता, गलत प्रपत्र, केवी तूफान।

इसका प्रयोग करें

code/main.pyसुरक्षा विमान के गेट के साथ तीन अराजकता प्रयोगों का अनुकरण करता है रिपोर्ट जो प्रयोगों जलने दर abort को झटका होगा.

इसे भेजें

यह सबक हमें फल देता हैoutputs/skill-chaos-plan.md. स्टैक और परिपक्वता को देखते हुए, पहले तीन प्रयोगों और उपकरण का चयन करता है.

व्यायाम

दौड़ेंcode/main.pyकिस प्रयोग ने जलने की दर के गेट को ट्रिगर किया और क्यों?
वीएलएलएम आधारित आरएजी सेवा के लिए पहले पांच अराजकता प्रयोगों का डिजाइन करें। सफलता मानदंड शामिल करें।
आपके जलने की दर अलर्ट ने एक प्रयोग को रोक दिया. आप मूल कारण अराजकता या प्राकृतिक कैसे निर्धारित करते हैं?
बहस करें कि क्या उत्पादन में अराजकता चलनी चाहिए या केवल मंचन। उत्पादन सही उत्तर कब है?
तीन एलएलएम-विशिष्ट विफलता मोड का नाम दें जिन्हें सामान्य नेटवर्क-चाओस पुनः पेश नहीं कर सकता है।

प्रमुख शर्तें

Term	What people say	What it actually means
SLI / SLO	"service targets"	Indicator + objective; required prerequisite
Blast radius	"scope"	Set of services / users affected by experiment
Burn-rate alert	"budget gate"	Fires when error-budget burn rate > 2x expected
Game day	"monthly drill"	Scheduled cross-team chaos exercise
LitmusChaos	"CNCF workflow"	Graduated CNCF Kubernetes chaos tool
Chaos Mesh	"CNCF CRD"	CNCF sandbox Kubernetes-native chaos
Harness CE	"commercial AI-assisted"	Harness chaos with AI recommendations
Malformed prompt	"tokenizer bomb"	Input that stalls tokenization
KV eviction storm	"preemption cascade"	Mass eviction triggering re-prefills

आगे पढ़ना

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.