روش های شکست: چرا ماموران شکست می خورند
Type: Learn + Build
Languages: Python (stdlib)
Prerequisites: Phase 14 · 05 (Self-Refine and CRITIC), Phase 14 · 24 (Observability)
Time: ~60 minutes
اهداف یادگیری
- سه دسته شکست MASFT را و حداقل چهار حالت خاص در هر یک از آنها نام ببرید.
- توضیح دهید که چرا شکست عاملی حالت های شکست هوش مصنوعی موجود را تقویت می کند (تأهل، توهم).
- پنج حالت تکراری صنعت و کاهش آنها را توصیف کنید.
- یک آشکارساز stdlib را پیاده سازی کنید که برچسب های عامل را با برچسب های حالت شکست ردیابی کند.
مشکل
تیم ها مامورانی را که در 90 درصد از ردیف ها کار می کنند، ارسال می کنند. 10 درصد از شکست ها صدا تصادفی نیستند. آنها به تعداد کمی از دسته های تکراری تعلق دارند. هنگامی که شما می توانید نام آنها را به دست آورید، می توانید آنها را کنترل کنید و آنها را اصلاح کنید.
مفهوم
MASFT (برکلی، arXiv:2503.13657)
تاکسونومی شکست سیستم چند عامل. 14 حالت شکست به 3 دسته بندی شده است. بین نویسنده کوهن کاپا 0.88 دسته بندی ها قابل اطمینان قابل تشخیص هستند.
ادعای اصلی: شکست ها نقص های اساسی طراحی در سیستم های چند عامل هستند، نه محدودیت های LLM که با مدل های پایه بهتر حل شود.
تکسونومی مایکروسافت از حالت شکست در سیستم های هوش مصنوعی آژانتک
- شکست های موجود هوش مصنوعی (تأهل، توهم، نشت داده ها) در تنظیمات عوامل تقویت می شوند.
- شکست های جدید از استقلال ظاهر می شوند: اقدام ناخواسته در مقیاس، سوء استفاده از ابزار، حرکت ماموریت.
- کاغذ سفید، ثبت خطر محصولات عامل است.
ویژگی های نقص در هوش مصنوعی اجنتیک (arXiv:2603.06847)
- شکست ها از ارتقاء ساختار، تکامل حالت داخلی و تعامل محیط ناشی می شوند.
- نه فقط "کد بد" يا "خروج مدل بد"
بررسی توهمات عامل LLM (arXiv:2509.18970)
دو تا ظاهره اصلی:
- Instruction-following Deviationمامور از دستورات سیستم پیروی نمی کنه
- Long-range Contextual Misuse عامل متن دور های قبلی را فراموش می کند یا اشتباه استفاده می کند.
خطاهای زیر قصد: حذف (خطای گم شده) ، تخفیف (خطای تکراری) ، اختلال (خطای خارج از نظم).
پنج حالت تکراری صنعت
تجزیه و تحلیل های ساحی Arize، Galileo، NimbleBrain 2024-2026 به:
- Hallucinated actions.مامور به ابزاري که وجود نداره زنگ مي زند يا استدلال ميکنه
- Scope creep.آژانس از درخواست کاربر فراتر می رود (پی آر اضافی ایجاد می کند، ایمیل های اضافی ارسال می کند).
- Cascading errors.یک تماس اشتباه باعث بروز اثرات پایین می شود. یک توهم خیالی SKU باعث چهار تماس API می شود.
- Context loss.وظایف بلند مدت محدودیت های نوبت اولیه را فراموش می کند.
- Tool misuse.ابزار درست را با استدلال های اشتباه یا ابزار اشتباه را کاملاً می خواند.
"آژانتها نمی توانند "من شکست خوردم" را از "کار غیرممکن است" تشخیص دهند و اغلب یک پیام موفقیت را در 400 خطا برای بسته شدن حلقه ها الهلوسنت می کنند.
کاهش: دروازه ها در هر مرحله
دروازه های تأیید خودکار در هر مرحله از زنجیره استدلال، بررسی زمینه های واقعی با وضعیت محیط زیست.
- طبقه بندی ایمنی در هر مرحله (درسه 21)
- اعتبار سنجش استدلال تماس ابزار (درسی 06).
- بررسی متقابل محتوای بازیافت شده با حقایق شناخته شده (درسی 05, انتقاد).
- تشخیص هالوسیژن موفقیت با بررسی مجدد حالت (آیا فایل واقعا ایجاد شده است؟)
جایی که نظارت بر شکست ها اشتباه می شود
- Tagging only crashes.بیشتر شکست های عامل به نظر میرسد درست هستند. نیاز به بررسی سطح محتوا.
- No baseline.تشخیص انحراف نیاز به آخرین شناخته شده-خیر است؛ بدون آن شما نمی توانید بگویید "این بدتر می شود".
- Over-alerting.هر شکست يه صفحه رو ميده، دسته و حد سرعت
آن را بسازید
code/main.pyیک برچسب حالت شکست stdlib را اجرا می کند:
- مجموعه داده های ردیابی مصنوعی که پنج حالت را پوشش می دهد.
- عملکردهای آشکارگر به صورت حالت (نمارهای امضا در تماس های ابزار، خروجی، اقدامات تکراری)
- یک برچسب که هر ردیابی را برچسب می دهد و توزیع حالت را گزارش می دهد.
اجرا کن
python3 code/main.pyمحصول: برچسب های هر ردیابی + توزیع جمع آوری، تولید ارزان آنچه که سطح های جمع بندی ردیابی فینکس است.
ازش استفاده کن
- Phoenixبرای دسته بندی تولید (درسه 24)
- Langfuseبرای تکرار جلسه + تشریح
- Customبرای امضاهای خاص دامنه، پلتفرم مشاهده ای شما نمی تواند تشخیص دهد.
-باده
outputs/skill-failure-detector.mdدستگاه هاي ديکتاتور وضع شکست رو براي دامنه شما ميسازد که به فروشگاهي پيچيده متصل شده
تمرینات
- یک آشکارساز برای "الوسیناسیون موفقیت" اضافه کنید: عامل موفقیت را باز می گرداند اما حالت هدف تغییر نکرده است.
- 100 تا اثري از يک محصول ساختي که درست کردي رو برچسب بزني. کدام حالت برتري ميکنه؟ هزینه درست کردنش چيست؟
- پیاده سازی یک متریک "قطر آبشار": با توجه به شکست در مرحله N، چند مرحله پایین جریان را تحت تاثیر قرار داد؟
- 14 حالت شکست MASFT رو بخوني، سه تا رو انتخاب کن که براي محصولت مربوطه، و ديکتورهاي ديگه رو بنويس
- یک آشکارساز را به یک کار CI متصل کنید: اگر >=5% از ردیابی ها یک حالت را برچسب کنند، ساخت شکست می خورد.
اصطلاحات کلیدی
| Term | What people say | What it actually means |
|---|---|---|
| MASFT | "Multi-agent failure taxonomy" | Berkeley 14-mode categorization |
| Cascading error | "Ripple failure" | One early mistake propagates through N steps |
| Context loss | "Forgot the constraint" | Long-horizon turn drops early-turn facts |
| Tool misuse | "Wrong tool / wrong args" | Valid call, wrong invocation |
| Success hallucination | "Faked completion" | Agent claims success on a 400; state unchanged |
| Scope creep | "Overreach" | Agent does more than asked |
| Instruction-following deviation | "Disobedience" | Ignores system prompt or user constraint |
| Sub-intention errors | "Plan bugs" | Omission, redundancy, disorder in plan execution |
خواندن بیشتر
- Cemri et al., MASFT (arXiv:2503.13657) 14 حالت شکست، 3 دسته
- Microsoft, Taxonomy of Failure Mode in Agentic AI Systems ثبت ریسک
- Arize Phoenix گروه بندی حرکت در عمل
- Anthropic, Building Effective Agents وقتی الگوهای ساده تر کاملا از حالت ها اجتناب می کنند
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.