Phase 15: Autonomous Systems

कार्य बजट, आवर्ती सीमा और लागत गवर्नर

एक मध्यम आकार के ई-कॉमर्स एजेंट की मासिक एलएलएम लागत से उछल गई $1,200 to $4.800 के बाद अपनी टीम ने "ऑर्डर ट्रैकिंग" कौशल को सक्षम किया। यह एक मूल्य निर्धारण बग नहीं है। यह एक एजेंट है जिसने एक नया लूप पाया और इसके अंदर खर्च किया। माइक्रोसॉफ्ट के एजेंट गवर्नेंस टूलकिट (2 अप्रैल 2026) इस वर्ग के खिलाफ रक्षा को कोडित करता हैः प्रति अनुरोध max_tokens, प्रति कार्य टोकन और डॉलर बजट, प्रति दिन / महीने कैप, पुनरावृत्ति कैप, टियर मॉडल रूटिंग, प्रॉम्प्ट कैशिंग, संदर्भ विंडो, महंगे कार्यों पर HITL चेकपोइंट, बजट उल्लंघन पर स्विच को मारने के लिए। एंथ्रोपिक के क्लाउड कोड एजेंट एसडीके विभिन्न नामों के तहत समान आदिम जहाज करता है। वित्तीय गति सीमा उदाहरण के लिए, 10 मिनट में $ 50 तक पहुंच को काटें मासिक कैप की तुलना में तेजी से कैच लूप।

Type: Learn

Languages: Python (stdlib, layered cost-governor simulator)

Prerequisites: Phase 15 · 10 (Permission modes), Phase 15 · 12 (Durable execution)

Time: ~60 minutes

समस्या

स्वायत्त एजेंट हर मोड़ पर असली पैसे खर्च करते हैं। एक चैटबॉट का खराब आउटपुट एक बुरा जवाब है; एक एजेंट का खराब लूप एक बिल है। विफलता मोड के लिए उद्योग-लेखित शब्द "वॉलेट का इनकार" है। एजेंट तर्क बना रहता है, उपकरण कॉल करता है, बिलिंग रखता है, और कुछ भी इसे रोकता नहीं है क्योंकि कुछ भी इसके लिए डिज़ाइन नहीं किया गया था।

फिक्स एक संख्या नहीं है। यह विभिन्न समय पैमाने और granularities पर सीमाओं का एक ढेर हैः प्रति अनुरोध, प्रति कार्य, प्रति घंटे, प्रति दिन, प्रति माह। एक अच्छी तरह से डिजाइन स्टैक मिनटों में एक रनवे लूप पकड़ता है, घंटे के भीतर एक धीमा रिसाव, और एक दिन के भीतर एक खराब रिलीज। एक ही ढेर एक बजट पर बिल्कुल रखता है जब एजेंट लंबी क्षितिज और स्वायत्त है।

यह एक इंजीनियरिंग पाठ हैः गणित तुच्छ है, अनुशासन वह है जहां टीम विफल होती है। नीचे दी गई सीमाओं की सूची या तो माइक्रोसॉफ्ट एजेंट गवर्नेंस टूलकिट या मानव क्लाउड कोड एजेंट एसडीके डॉक्स में नामित है।

अवधारणा

लागत-राज्यपाल स्टैक

max_tokens per request.सरल. किसी भी एक कॉल को एक असीमित समाप्ति जारी करने से रोकता है।
Per-task token budget.पूरे रन में, N टोकन से अधिक न करें. टोपी पर हार्ड स्टॉप।
Per-task dollar budget.टोकन के समान लेकिन मुद्रा में।max_budget_usdक्लाउड कोड में।
Per-tool call cap.N से अधिक नहींWebFetchकॉल, N shell_execकॉल आदि।
Iteration cap (max_turns).कुल एजेंट लूप पुनरावृत्ति; अंतहीन तर्क लूप को रोकता है।
Per-minute / per-hour / per-day / per-month cap.घूमने वाली खिड़कियां, विभिन्न समय पैमाने पर रिसाव को पकड़ती हैं।
Financial velocity limit.उदाहरण के लिए, "यदि 10 मिनट में खर्च $50 से अधिक है, तो पहुंच को काट दें।" मासिक कैप आग से पहले लूप-आधारित जलने को पकड़ता है।
Tiered model routing.एक छोटे मॉडल पर डिफ़ॉल्ट; केवल तब एक वर्गीकरणकर्ता को कार्य को उचित ठहराने के लिए एक बड़े मॉडल पर बढ़ना।
Prompt caching.प्रदाता कैश में संग्रहीत सिस्टम त्वरित और स्थिर संदर्भ; पुनः भेजना की टोकन लागत शून्य के करीब है।
Context windowing.सक्रिय संदर्भ को सीमा के नीचे रखने के लिए संपीड़न/संक्षेप; प्रत्यक्ष टोकन लागत में कमी।
HITL checkpoints on expensive actions.महंगी होने के लिए जाने जाने वाली कार्रवाई से पहले (लंबे टूल कॉल, बड़े डाउनलोड, महंगे मॉडल अपग्रेड) मानव नल की आवश्यकता होती है।
Kill switch on budget breach.सत्र बंद हो जाता है जब कोई भी कैप आग लगती है। कैप रिकॉर्ड किया जाता है; एक अलग फिर से सक्षम पथ की आवश्यकता होती है।

क्यों ढेर, एक टोपी नहीं

एक एकल मासिक कैप एक भागने वाले एजेंट को केवल बटुए के गायब होने के बाद पकड़ता है। प्रति अनुरोध एक एकल कैप सत्र के स्तर पर कुछ भी नहीं पकड़ता है। विभिन्न विफलता मोड अलग-अलग समय पैमाने की आवश्यकता होती हैः

Runaway loop(एजेंट 5 सेकंड के पुनः प्रयास में फंस गया): गति सीमा द्वारा पकड़ा गया।
Slow leak(एजेंट प्रति कार्य ~ 2x अपेक्षित कार्य करता है): दैनिक कैप द्वारा पकड़ा गया।
Bad release(नया संस्करण 5x टोकन का उपयोग करता है): साप्ताहिक / मासिक कैप द्वारा पकड़ा गया।
Legitimate surge(वास्तविक मांग, बग नहीं): स्पष्ट लॉग के साथ घंटे / दिन कैप द्वारा पकड़ा गया।

एक हर्नस बजट सतह

क्लाउड कोड एजेंट एसडीके (सार्वजनिक दस्तावेज) उजागर करता हैः

max_turns पुनरावृत्ति कैप।
max_budget_usd डॉलर कैप; अवैध सत्र गर्भपात।
allowed_tools/disallowed_tools उपकरण मिश्रण और डेनिल
कस्टम लागत लेखांकन के लिए उपकरण के उपयोग से पहले हुक अंक।

अनुमति मोड सीढ़ी (पाठ 10) के साथ संयोजन करें।autoModeबिना सत्रmax_budget_usdमानव स्पष्ट रूप से ऑटो मोड को बजट नियंत्रण की आवश्यकता के रूप में फ्रेम करता है; वर्गीकरण लागत के लिए orthogonal है।

यूरोपीय संघ के AI अधिनियम, OWASP एजेंटिक शीर्ष 10

माइक्रोसॉफ्ट के एजेंट गवर्नेंस टूलकिट में ओडब्ल्यूएएसपी एजेंट टॉप 10 और यूरोपीय संघ के एआई अधिनियम के अनुच्छेद 14 (मानव पर्यवेक्षण) की आवश्यकताएं शामिल हैं। यूरोपीय संघ में उत्पादन के लिए, लकड़ी का काटना और सीमाओं का पालन वैकल्पिक नहीं है।

देखा गया $1,200 → $4,800 मामला

माइक्रोसॉफ्ट डॉक्स में वास्तविक मामलाः एक ई-कॉमर्स एजेंट जिसकी मासिक लागत एक नए उपकरण के जोड़ने के बाद तीन गुना बढ़ गई। उपकरण ने एजेंट को प्रत्येक सत्र के दौरान आदेश की स्थिति का सर्वेक्षण करने की अनुमति दी। कोई लूप पता लगाने नहीं. कोई उपकरण प्रति टोपी नहीं। सप्ताह-दर-सप्ताह वृद्धि पर कोई अलर्ट नहीं। फिक्स प्रति उपकरण कैप और दैनिक वृद्धि अलर्ट था। यह एक टेम्पलेट हैः प्रत्येक नए उपकरण सतह एक नया संभावित लूप है; प्रत्येक नए उपकरण को अपने स्वयं के कैप और अपने स्वयं के अलर्ट की आवश्यकता होती है।

इसका प्रयोग करें

code/main.pyएक स्तरित लागत-गवर्नर स्टैक के साथ और बिना एक एजेंट को चलाने का अनुकरण करता है। अनुकरणित एजेंट कुछ मोड़ के बाद एक मतदान लूप में बहता है; स्तरित स्टैक इसे गति विंडो के भीतर पकड़ता है जबकि एक एकल मासिक कैप कुछ दिनों बाद तक नहीं चलाएगा।

इसे भेजें

outputs/skill-agent-budget-audit.mdएक प्रस्तावित एजेंट तैनाती के लागत-गवर्नर स्टैक का ऑडिट करता है और गायब परतों को चिह्नित करता है।

व्यायाम

दौड़ेंcode/main.py. मतदान-लूप की पटरियों पर पुनरावृत्ति कैप से पहले गति सीमा फायर की पुष्टि करें. अब गति सीमा को अक्षम करें और मापें कि पुनरावृत्ति कैप इसे पकड़ने से पहले एजेंट कितना "खर्च" करता है।

ब्राउज़र एजेंट के लिए एक उपकरण प्रति कैप सेट डिज़ाइन करें (पाठ 11) किस उपकरण को सबसे तंग कैप की आवश्यकता है? कौन सा उपकरण बिना किसी जोखिम के बिना बिना चला सकता है?

Microsoft एजेंट गवर्नेंस टूलकिट डॉक्स पढ़ें। प्रत्येक कैप टाइप करें टूलकिट के नामों की सूची। प्रत्येक को विफलता मोड (रनवे लूप, धीमा रिसाव, खराब रिलीज, उछाल) में से एक के लिए मैप करें।

एक यथार्थवादी कार्य के लिए रातोंरात अनियंत्रित रन की कीमत (जैसे, "रिपो में 50 मुद्दों का परीक्षण करें") सेट max_budget_usd2x अपने अंक अनुमान पर. 2x को सही ठहराना.

क्लाउड कोड की max_budget_usdसत्र की कुल लागत पर आग लगती है. आप बाहरी रूप से लागू करेंगे एक पूरक गति सीमा डिजाइन. क्या कट-ऑफ ट्रिगर करता है, और फिर से सक्षम करने की तरह क्या लगता है?

प्रमुख शर्तें

Term	What people say	What it actually means
Denial of Wallet	"Runaway bill"	Agent loop generating spend with no cap to stop it
max_tokens	"Per-request cap"	Ceiling on a single completion's size
max_turns	"Iteration cap"	Ceiling on agent loop iterations in a session
max_budget_usd	"Dollar kill switch"	Session cost cap; aborts on breach
Velocity limit	"Rate cap"	Limit on spend per short window (e.g., $50 / 10 min)
Tiered routing	"Small model first"	Cheap model default; escalate only when classifier warrants
Prompt caching	"Cached system prompt"	Provider-side cache reduces re-send token cost to near zero
HITL checkpoint	"Human approval gate"	Human tap required before expensive action

आगे पढ़ना

Anthropic Claude Code Agent SDK — agent loop and budgets max_turns,max_budget_usd, उपकरण अनुदानकर्ता।
Microsoft Agent Framework — human-in-the-loop and governance लागत-राज्यपाल चेकपोस्ट।
Anthropic — Claude Managed Agents overview प्रदाता पक्ष की लागत नियंत्रण।
Anthropic — Prompt caching (Claude API docs) कैशिंग यांत्रिकी।
Anthropic — Measuring agent autonomy in practice लंबी दूरी के एजेंटों के लिए लागत प्रोफ़ाइल।

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.