هندسة الفوضى لإنتاج ماجستير في التدريس
Type: Learn
Languages: Python (stdlib, toy chaos experiment runner)
Prerequisites: Phase 17 · 23 (SRE for AI), Phase 17 · 13 (Observability)
Time: ~60 minutes
أهداف التعلم
- أسمائ مخططات هندسة الفوضى الخمسة (SLI/SLO، قابلية الملاحظة، الانسحاب، الكتب المتحركة، على المكالمة) وشرح لماذا تخطي أي تقلبات يخرق الممارسة.
- رسم الرسومات الأربعة (السيطرة، الهدف، السلامة، قابلية للملاحظة) ومركز التعليق إلى SLO.
- قم بإدراج خمسة تجارب محددة لـ LLM (تعبير الذكريات الزائد، فشل الشبكة، انقطاع المزود، استدعاء غير مصمم، عاصفة إخلاء KV).
- اختر أداة الحزمة، التشنجات، الشبكة الفوضى المقدمة كومة.
المشكلة
يتم إنشاء اختبار الفوضى في الأوامر التقليدية. تضيف أوامر LLM أوضاع فشل جديدة. يوقف عرض 4K-token مع حرف سمي الوهم لمدة 12 ثانية. مزود أعلى سير 429s؛ محاولات بوابة البوابة الخاصة بك؛ محاولات OOM الخدمة الخاصة بك على التزامن المتزايد. عاصفة إخلاء cache KV تحت حمل انفجار يسبب إعادة إعادة إعادة إملاء السقوطات التي تثبت الحساب.
لا يظهر أي من هذه في اختبارات الوحدة هندسة الفوضى هي الطريقة التي تكتشفها قبل أن يكتشفها المستخدمون.
المفهوم
الشروط المسبقة
لا تجعل الفوضى في الإنتاج بدون:
- SLI/SLO تحديد مؤشرات وأهداف مستوى الخدمة.
- Observability آثار، مقاييس، سجلات، سلكية إلى لوحة التحكم.
- Automated rollback المرحلة 17 · 20 إعادة تعديل السياسة.
- Runbooks المُهيّن، المرحلة 17 · 23.
- On-callشخص ما ليتجاوب
إن لم يكن هناك أي وسيلة فوضى تصبح حادثة حقيقية
أربعة طائرات + ردود الفعل
Control plane المخطط التجريبي (تدفق عمل ليتموس، جدول Chaos Mesh، UI Harness).
Target planeالخدمات، الحوافز، العقد، موازنة الحمل، مخازن البيانات.
Safety plane مفاتيح التوقف، نوافذ القمع، حدود نصف قطر الانفجار، بوابات الحد الأقصى.
Observability plane مقاييس طبيعية + ارتباط التتبع-الجهاز للتمييز بين الفوضى الناجمة عن الفشل الطبيعي.
Feedback loop النتائج تعود إلى تعديل SLO، تحديثات دفتر التشغيل، إصلاحات الرمز.
الحراسة إلزامية
- Burn-rate alert: التجربة في حالة توقف الحرق اليومي لخطأ ميزانية تتجاوز 2x المتوقع.
- Suppression windows: إيقاف إشعارات غير التجربة في نصف قطر الانفجار أثناء التجربة.
- Trace-ID correlation: كل الأخطاء التي تسببها التجربة تحمل علامة بحيث يمكن للاتصال أن يستنتج.
خمسة تجارب محددة لدرجة الماجستير في القانون
- Memory overload إثارة عاصفة تحديد الاحتفاظ بالخزنة KV عن طريق إرسال طلبات سياق طويلة مع مواكبة عالية. لاحظ: هل تنفجر الخدمة بشكل لطيف أو تتعطل؟
- Network failure قطع الاتصال بين بوابة الاستخدام والمقدم لاحظ: هل تنشأ الخلفية في إطار SLA؟ (المرحلة 17 · 19)
- Provider outage simulation 100% 429 من OpenAI. لاحظ: هل التوجيه يُفشل إلى Anthropic؟ (المرحلة 17 · 16، 19)
- Malformed prompt الحقن tokenizer-إيقاف الحمل المفيد (على سبيل المثال، unicode عميقة، نقطة رمزية UTF-8 ضخمة). لاحظ: هل طلب واحد مقفل العامل؟
- KV eviction storm الإخلاء القسري من خلال تثبيت ميزانية كتلة vLLM لاحظ: هل تعافى LMCache أم تتدهور الخدمة؟
التوقيت
- Weeklyتجربة صغيرة من القناريات في التنسيق، ربما 5%
- Monthly يوم اللعبة المخطط له في سيناريو معين، حضور الفريق المتبادل، بعد الموت.
- Quarterly مراجعة الصمود بين الفريقين؛ تحديث خريطة الاعتماد.
أدوات
- Harness Chaos Engineering التجارية؛ توصيات التجربة المستمدة من الذكاء الاصطناعي؛ تخفيض نطاق الإشعاع؛ دمج أدوات MCP.
- LitmusChaos تخرج من كلية CNCF؛ قاعدة سير العمل Kubernetes.
- Chaos Mesh صندوق رمل CNCF؛ طراز CRD الأصلي Kubernetes.
- Gremlin التجارية؛ الدعم الواسع.
- AWS FIS- لا ، لاAzure Chaos Studio عروض السحابة المدارة
بدءاً من الصغر
التجربة الأولى: قتلهم في حالة حركة مرور ثابتة، لاحظوا إعادة التوجيه والتحسين، إذا نجح هذا ويبدو آمنا، فستنتقل إلى الفوضى الشبكة.
أول تجربة خاصة بالجامعة: حقن مقدم 429 لمدة 5 دقائق، لاحظ التراجع، معظم الفريقات تكتشف أن التراجع لم يتم اختباره بالكامل.
أرقام يجب أن تتذكر
- أربعة طائرات: التحكم، الهدف، السلامة، قابلية للملاحظة.
- توقف معدل الحرق: 2 مرات الحرق المتوقع في الميزانية اليومية.
- الـ"كادنس": الأسبوعيّة للقناريّة، يوم اللعب الشهريّ، المراجعة الربعية.
- خمس تجارب في ماجستير التدريس: الذاكرة، الشبكة، المزود، المكالمة المخطئة، عاصفة KV.
استخدمها
code/main.pyيُحاكي ثلاث تجارب فوضوية مع بوابات طائرة السلامة، تقارير عن تجارب ستعطل معدل حرق الإغلاق.
أرسله
هذا الدرس يُنتجoutputs/skill-chaos-plan.mdنظراً للكمية والنضج، يختار أول ثلاثة تجارب و الأدوات.
التمارين
- أركض
code/main.pyأي تجربة تُطيح بوابة معدل الحرق ولماذا؟ - صمم أول خمسة تجارب الفوضى لخدمة RAG القائمة على vLLM. تضم معايير النجاح.
- إن تحذيرك عن معدلات الحرق أوقف تجربة كيف تحدد السبب الجذري الفوضى أم الطبيعية؟
- نقاش حول ما إذا كان ينبغي أن يكون الفوضى في الإنتاج أو فقط التصوير. متى هو الإنتاج الإجابة الصحيحة؟
- أسمائ ثلاثة أنماط فشل خاصة بالشركة القانونية التي لا يمكن أن تكرر الفوضى الشبكة العامة.
الشروط الرئيسية
| Term | What people say | What it actually means |
|---|---|---|
| SLI / SLO | "service targets" | Indicator + objective; required prerequisite |
| Blast radius | "scope" | Set of services / users affected by experiment |
| Burn-rate alert | "budget gate" | Fires when error-budget burn rate > 2x expected |
| Game day | "monthly drill" | Scheduled cross-team chaos exercise |
| LitmusChaos | "CNCF workflow" | Graduated CNCF Kubernetes chaos tool |
| Chaos Mesh | "CNCF CRD" | CNCF sandbox Kubernetes-native chaos |
| Harness CE | "commercial AI-assisted" | Harness chaos with AI recommendations |
| Malformed prompt | "tokenizer bomb" | Input that stalls tokenization |
| KV eviction storm | "preemption cascade" | Mass eviction triggering re-prefills |
المزيد من القراءة
- DevSecOps School — Chaos Engineering 2026 Guide
- Ankush Sharma — Observability for LLMs (book)
- LitmusChaos (CNCF)
- Chaos Mesh (CNCF)
- Harness Chaos Engineering
- AWS FIS
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.