Phase 17: Infrastructure & Production

LLM Üretimi için Kaos Mühendisliği

Type: Learn

Languages: Python (stdlib, toy chaos experiment runner)

Prerequisites: Phase 17 · 23 (SRE for AI), Phase 17 · 13 (Observability)

Time: ~60 minutes

Öğrenme Hedefleri

• Beş kaos mühendisliği ön şartını (SLI/SLO, gözlemlenebilirlik, geri dönüş, çalışma defterleri, çağrıda bulunma) belirleyin ve herhangi bir atlamanın neden uygulamayı iptal ettiğini açıklayın.
• Dört düzeni (kontrol, hedef, güvenlik, gözlemlenebilirlik) ve geri bildirim döngüsünü SLO'ya çiz.
• Beş LLM özel deneyi (hüye hafızası aşırı yük, ağ başarısızlığı, sağlayıcı kesinti, yanlış işlenmiş istek, KV tahrip fırtınası) listeleyin.
• Bir araç seçin Harness, LitmusChaos, Chaos Mesh verilen yığın.

Sorun

Geleneksel yığınlarda kaos testi kuruldu. LLM yığınları yeni başarısızlık modlarını ekler. Zehir karakterli bir 4K-token istek, tokenizeciyi 12 saniye boyunca durdurur. Bir yukarı akım sağlayıcısı 429s; geçit girişiniz yeniden dener; servis OOM'larınız tekrar güçlendirilmiş eşzamanlı olarak. Bir KV önbelleği boşaltma fırtınası patlama yükü altında hesaplama doymuş kaskadları yeniden doldurmaya neden olur.

Bu testlerin hiçbiri birim testlerinde görünmüyor. Kaos mühendisliği, kullanıcıların yapmadan önce onları keşfetmenin bir yolu.

Anlaşım

Ön koşullar

Üretimdeki kaosı:

1. SLI/SLO hizmet düzeyin göstergelerinin ve hedeflerin belirlenmesi.
2. Observability izler, metrikler, kayıtlar, ara çubuğa kablo.
3. Automated rollback 17 · 20 aşama politika bayrağı geri dönüşü.
4. Runbooks yapılandırılmış, 17 · 23.
5. On-call- Cevap verecek biri.

Herhangi bir şekilde kayıp kaos gerçek bir olay haline gelir.

Dört uçak + geri bildirim

Control plane deney programcısı (Litmus iş akışı, Kaos Mesh programı, Harness UI).

Target plane- Hizmetler, kapsüller, düğümler, yük dengeleyici, veri depoları.

Safety plane öldürme anahtarı, baskı pencereleri, patlama radyüsü sınırları, hata bütçesi kapıları.

Observability plane normal ölçümler + iz-İD korelasyonu doğal hatalardan oluşan kaosı ayırt etmek için.

Feedback loop Bulgular SLO ayarlamalarına, runbook güncellemelerine, kod düzeltmelerine geri döner.

Koruma rayları zorunludur .

• Burn-rate alertGünlük hata bütçesi yanma beklenenin iki katını aşarsa, durak deneyi.
• Suppression windows: deney sırasında patlama radyosunda deney dışı uyarıları sessizleştirmek.
• Trace-ID correlation: deneylerin neden olduğu tüm hatalar bir etiket taşır, böylece çağrıda bulunarak sonuçlanabilir.

Beş LLM özel deneyi

1. Memory overload yüksek eşzamanlılık ile uzun bağlamlı istekleri göndererek KV önleme fırtınasını zorlamak.

1. Network failure İtkinlik geçidi ve sağlayıcı arasındaki bağlantıyı kesin.

1. Provider outage simulation OpenAI'den %100 429. Not: yönlendirme Antropic'e geçiş başarısız mı oluyor? (Fase 17 · 16, 19)

1. Malformed prompt Tokenizer-stalling payload enjekte (örneğin, derin bir yuva içindeki unicode, büyük UTF-8 kod noktası).

1. KV eviction storm vLLM blok bütçesini doymakla zorla çıkarma.

Cadence

• Weekly küçük kanarya deneyleri, belki %5 projed.
• Monthly belirli bir senaryoda belirlenmiş oyun günü; takımlar arası katılım; ölüm sonrası.
• Quarterly Ekipler arası dayanıklılık denetimi; bağımlılık haritasının güncelleştirilmesi.

Araçlama

• Harness Chaos Engineering Ticari; Yapay zeka kaynaklı deney önerileri; patlama radyüsünün azaltılması; MCP araçlarının entegrasyonu.
• LitmusChaos CNCF mezun; Kubernetes çalışma akışına dayalı.
• Chaos Mesh CNCF kum kutusu; Kubernetes-devli CRD tarzı.
• Gremlin Ticari; geniş destek.
• AWS FIS- Ne ?Azure Chaos Studio yönetilen bulut sunuşları.

Küçük başlıyor.

İlk deney: sabit trafik altında bir kod kopyasını öldür. Yeniden yönlendirme ve kurtarma izleyin. Eğer bu işe yarıyorsa ve güvenli görünüyorsa, ağ kaosuna geçin.

İlk LLM özel deneyi: 5 dakika boyunca 429'u bir sunucuya enjekte edin.

Hatırlamalısın numaralar

• Dört uçak: kontrol, hedef, güvenlik, gözlemlenebilirlik.
• Yanma oranı duraklama: Beklenen günlük bütçe yanma 2 katı.
• Cadence: haftalık kanarya, aylık oyun günü, çeyreklik denetim.
• Beş LLM deneyi: hafıza, ağ, sağlayıcı, yanlış düzenlenmiş istek, KV fırtınası.

Kullan

code/main.pyGüvenlik uçak kapıları ile üç kaos deneyimi simülasyonu yaparak yanma oranı bozulmasını sağlayacak deneylerin raporlarını yapıyoruz.

Gönder

Bu ders bize çok yararlı .outputs/skill-chaos-plan.md- Dolu ve olgunluğu göz önüne alındığında ilk üç deneyi ve alet seçer.

Egzersizler

1. Çık .code/main.pyHangi deney yakma oranı kapısını zorlar ve neden?
2. VLLM tabanlı bir RAG hizmetinin ilk beş kaos deneyimi tasarlayın. Başarılılık kriterlerini dahil edin.
3. Yanma oranı uyarısı bir deneyi durdurdu.
4. Yapım sırasında kaosun olması mı yoksa sadece sahnelenmesi mi gerektiğini tartışın.
5. Genel ağ kaosu'nun yeniden üretemeyeceği üç LLM-sözlü başarısızlık modunu isimlendirin.

Anahtar Terimler

Daha Fazla Okumak

• DevSecOps School — Chaos Engineering 2026 Guide
• Ankush Sharma — Observability for LLMs (book)
• LitmusChaos (CNCF)
• Chaos Mesh (CNCF)
• Harness Chaos Engineering
• AWS FIS

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.