أساليب الفشل: لماذا ينتهي العملاء
Type: Learn + Build
Languages: Python (stdlib)
Prerequisites: Phase 14 · 05 (Self-Refine and CRITIC), Phase 14 · 24 (Observability)
Time: ~60 minutes
أهداف التعلم
- أطلق اسم فئات الفشل الثلاثة في MASFT وأربعة أوضاع محددة على الأقل في كل منها.
- شرح لماذا الفشل الوكلي يضخم أنماط الفشل القائمة للاستخبارات الذكية (التحيز والوهلوسة).
- وصف الخمسة أنواع التكرار في الصناعة وتخفيفها.
- تنفيذ كاشف stdlib الذي يلاحق العامل مع علامات وضع الفشل.
المشكلة
فرق شحن وكلاء يعملون على 90% من الأثر. الفشل 10% ليست ضجيج عشوائية أنها تقع في عدد صغير من الفئات المتكررة. بمجرد أن تتمكن من تسميتها، يمكنك مراقبة لهم وإصلاحها.
المفهوم
MASFT (بركلي، arXiv:2503.13657)
تصنيف الفشل في النظام متعدد الوكلاء. 14 وضع الفشل المجموعة إلى 3 فئات. كابا 0.88 من بين الملاحظين كوهين فئات يمكن التمييز بشكل موثوق.
الادعاء المركزي: الفشل هو عيوب التصميم الأساسية في أنظمة متعددة الوكلاء، وليس قيود LLM التي يجب تصحيحها مع نماذج أساسية أفضل.
تصنيف مايكروسوفت لنمط الفشل في أنظمة الذكاء الاصطناعي العامل
- فشلات الذكاء الاصطناعي الحالية (التحيز والوهم وتسريب البيانات) تتزايد في الإعدادات الوكالة.
- يظهر فشل جديد من الاستقلال: العمل غير المقصود على نطاق واسع، سوء استخدام الأدوات، التنقل المهم.
- الورقة البيضاء هي سجل المخاطر للمنتجات الوكالة.
خروط مميزة في الذكاء الاصطناعي العجني (arXiv:2603.06847)
- النقص ينشأ من التنسيق والتطور الداخلي للحالة والتفاعل البيئي.
- ليس فقط "رمز سيء" أو "خروج نموذج سيء".
دراسة الهلوسة العملية (arXiv: 2509.18970)
اثنين من التظاهر الأساسية:
- Instruction-following Deviationالعميل لا يتبع طلب النظام
- Long-range Contextual Misuse ينسى العميل أو يستخدم سياق المنحدرات السابقة بشكل خاطئ.
أخطاء فرعية: الإغفال (خطوة مفقودة) ، الإفراط (خطوة متكررة) ، الاضطراب (خطوات خارج النظام).
النماذج الخمسة المتكررة في القطاع
تحليلات ميدانية أريز، غاليليو، نيمبلبرين 2024-2026 تتحرك نحو:
- Hallucinated actions.العميل يستدعو أداة لا توجد أو يختلق حجج
- Scope creep.وكيل توسع المهمة خارج طلب المستخدم (إنشاء علاقات إضافية، إرسال رسائل إلكترونية إضافية).
- Cascading errors.مكالمة واحدة خاطئة تُحدث تأثيرات أسفل التيار. تُحدث الهلوسة شبحية من SKU أربعة مكالمات API
- Context loss.المهام الطويلة تنسى القيود المبكرة
- Tool misuse.يطلق على الأداة الصحيحة مع الحجج الخاطئة، أو الأداة الخاطئة تماما.
الضحية هي الضحية، لا يستطيع العملاء التمييز بين "فشلت" و"المهمة مستحيلة" وغالبا ما يوحدون رسالة نجاح على 400 خطأ لإغلاق الحلقة.
التخفيف: بوابات في كل خطوة
بوابات التحقق الآليّة في كل خطوة من سلسلة التفكير، والتحقق من الأساس الفعليّ ضد حالة البيئة.
- تصنيف السلامة لكل خطوة (الدرس 21).
- التحقق من صحة الحجج في الدعوة إلى الأداة (المدرسة 06).
- التحقق من المحتوى المسترد مقابل الحقائق المعروفة (المدرس 05، النقد).
- اكتشاف الهلوسة النجاحية عن طريق إعادة إختبار حالة (هل تم إنشاء الملف فعلا؟)
حيث يذهب مراقبة الفشل بشكل خاطئ
- Tagging only crashes.معظم فشل العملاء ينتج نتيجة تبدو صحيحة، تحتاج إلى فحص مستوى المحتوى.
- No baseline.الكشف عن التدفق يحتاج إلى آخر معروف جيد؛ بدونها لا يمكنك أن تقول "هذا يتفاقم".
- Over-alerting.كل فشل ينتج صفحة، مجموعة ومحدد السعر.
بناءها
code/main.pyينفذ علامة وضع فشل stdlib:
- مجموعة بيانات تتبع مصنوعية تغطي الأنظمة الخمسة.
- وظائف الكشف لكل وضع (أنماط التوقيع على مكالمات الأداة والمخرجات والإجراءات المتكررة).
- علامة تعيين كل أثر وتقرير توزيع وضع.
إشغله
python3 code/main.pyالناتج: علامات لكل تعقب + توزيع مجموعي، إعادة إنتاج رخيصة لما يظهر عليه مجموعة العقب في فينيكس.
استخدمها
- Phoenixلـ (دروس 24)
- Langfuseللاستعادة + التعليقات
- Customلموقع محدد للمجال لا يمكن منصة ملاحظتك اكتشافها.
أرسله
outputs/skill-failure-detector.mdيُولد كاشفات وضع الفشل مُخصصة لمجالك، مُتواصلة مع متجر تتبع.
التمارين
- إضافة جهاز كشف لـ "الهلوسة الناجحة": العامل يعيد النجاح ولكن الحالة المستهدفة غير متغيرة.
- أسمي 100 أثر حقيقي من منتج قمت ببناءه أي وضع سيطر عليه ما تكلفة إصلاحه؟
- تنفيذ مقياس "مدى قطر السقوط": بالنظر إلى فشل في الخطوة N، كم خطوة أسفل التيار أثرت عليه؟
- اقرأ 14 وضع فشل في MASFT اختر ثلاثة تنطبق على منتجك اكتب كاشفات
- توصيل جهاز كشف واحد في وظيفة CI: فشل في الإعداد إذا كان >=5% من الأثرات تعيين وضع.
الشروط الرئيسية
| Term | What people say | What it actually means |
|---|---|---|
| MASFT | "Multi-agent failure taxonomy" | Berkeley 14-mode categorization |
| Cascading error | "Ripple failure" | One early mistake propagates through N steps |
| Context loss | "Forgot the constraint" | Long-horizon turn drops early-turn facts |
| Tool misuse | "Wrong tool / wrong args" | Valid call, wrong invocation |
| Success hallucination | "Faked completion" | Agent claims success on a 400; state unchanged |
| Scope creep | "Overreach" | Agent does more than asked |
| Instruction-following deviation | "Disobedience" | Ignores system prompt or user constraint |
| Sub-intention errors | "Plan bugs" | Omission, redundancy, disorder in plan execution |
المزيد من القراءة
- Cemri et al., MASFT (arXiv:2503.13657) 14 وضعًا للخلل، 3 فئات
- Microsoft, Taxonomy of Failure Mode in Agentic AI Systems سجل المخاطر
- Arize Phoenix تجميع التدفق في الممارسة العملية
- Anthropic, Building Effective Agents عندما تتجنب الأنماط البسيطة أنماط بالكامل
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.