ईवल-ड्राइव एजेंट विकास
Type: Learn + Build
Languages: Python (stdlib)
Prerequisites: All of Phase 14.
Time: ~60 minutes
सीखने के लक्ष्य
- तीन मूल्यांकन परतों का नाम बताइए स्थैतिक बेंचमार्क, कस्टम ऑफ़लाइन, ऑनलाइन उत्पादन और प्रत्येक किस उद्देश्य के लिए है।
- मूल्यांकनकर्ता-अनुकूलनकर्ता सख्त लूप की व्याख्या करें।
- 2026 के सर्वोत्तम अभ्यास का वर्णन करेंः मूल्यांकन कोड के बगल में रहते हैं, आईसी में चलते हैं, गेट पीआर।
- प्रत्येक चरण 14 सबक को मूल्यांकन मामले से जोड़ें जो यह उत्पन्न करता है।
समस्या
एजेंट डेमो पास करते हैं। वे उत्पादन में विफल होते हैं जिस तरह से डेमो का अनुमान नहीं लगाया जा सकता है। बेंचमार्क जवाब देते हैं "क्या यह मॉडल व्यापक रूप से सक्षम है?" नहीं "क्या यह एजेंट मेरे उत्पाद के लिए सही पैच भेज रहा है?" जवाबः तीन परतों पर मूल्यांकन, निरंतर चल रहा है, प्रत्येक गार्डरेल और सीखे गए नियम के साथ एक मूल्यांकन मामले में मैप किया गया है।
अवधारणा
तीन मूल्यांकन परतें
- Static benchmarks SWE-bench कोड के लिए सत्यापित (पढ़ना 19) , WebArena/OSWorld ब्राउज़िंग / डेस्कटॉप के लिए (पढ़ना 20) , GAIA के लिए सामान्यवादी (पढ़ना 19) , BFCL V4 के लिए उपकरण उपयोग (पढ़ना 06) । क्रॉस-मॉडल तुलना और प्रतिगमन गेटिंग के लिए उपयोग। प्रदूषण वास्तविक हैः SWE-bench+ ने समाधान रिसाव 32.67% पाया। हमेशा सत्यापित / +-ऑडिट स्कोर रिपोर्ट करें।
- Custom offline evals आपके उत्पाद का आकारः
- न्यायकर्ता के रूप में LLM (Langfuse, Phoenix, Opik पाठ 24)
- निष्पादन आधारित (पच चलाएं, जांच परीक्षण करें) ।
- ट्रैकटोरिया आधारित (सोने के मुकाबले एक्शन सीक्वेंस की तुलना करें; ओएसवर्ल्ड-ह्यूमन सोने के मुकाबले शीर्ष एजेंटों को 1.4-2.7x दिखाता है) ।
- Online evals उत्पादनः
- सत्र रीप्ले (लंगफ्यूज)
- गार्डरेल से ट्रिगर किए गए अलर्ट (पढ़ें 16, 21)
- प्रति चरण लागत / विलंबता ट्रैकिंग (लर्सन 23 OTel का विस्तार) ।
मूल्यांकनकर्ता-अनुकूलनकर्ता (मानव)
तंग लूपः
- प्रस्तावक आउटपुट उत्पन्न करता है।
- मूल्यांकनकर्ता न्यायाधीश।
- मूल्यांकनकर्ता पास होने तक परिष्कृत करें।
यह आत्म-रिफाइन (लक्षण 05) सामान्य है. आप परवाह करने वाले किसी भी एजेंट प्रवाह विश्वसनीयता के लिए मूल्यांकनकर्ता-अनुकूलन में पैक कर सकते हैं।
2026 सर्वोत्तम प्रथा
- Evals कोड के बगल में रहते हैं।
- हर पीआर पर आईसी में चलें।
- मूल्यांकन स्कोर पर गेट विलय (जैसे "कोई पुनरावृत्ति नहीं > 5% बनाम मुख्य") ।
- हर गार्डरेल एक मूल्यांकन मामले के लिए नक्शे.
- प्रत्येक सीखे हुए नियम (विचार, कार्यप्रवाह समर्थक सीखने-नियम) एक विफलता के मामले का नक्शा बनाता है।
चरण 14 को एक साथ जोड़ना
चरण 14 में प्रत्येक पाठ मूल्यांकन मामलों उत्पन्न करता हैः
| Lesson | Eval case it generates |
|---|---|
| 01 Agent Loop | Budget-exhausted, infinite-loop guard |
| 02 ReWOO | Planner replans correctly when a tool fails |
| 03 Reflexion | Learned reflections apply on retry |
| 05 Self-Refine/CRITIC | Judge passes refined output |
| 06 Tool Use | Argument coercion works; unknown tools rejected |
| 07-10 Memory | Retrieval citations match sources; stale facts invalidate |
| 12 Workflow Patterns | Each pattern produces correct output |
| 13 LangGraph | Resume reproduces state exactly |
| 14 AutoGen Actors | DLQ catches crashed handlers |
| 16 OpenAI Agents SDK | Guardrail trips on the right inputs |
| 17 Claude Agent SDK | Subagent results return to orchestrator |
| 19-20 Benchmarks | SWE-bench Verified score, WebArena success rate, OSWorld efficiency |
| 21 Computer Use | Per-step safety catches injected DOM |
| 23 OTel | Spans emit required attributes |
| 26 Failure Modes | Detectors tag known failures |
| 27 Prompt Injection | PVE refuses poisoned retrievals |
| 28 Orchestration | Supervisor routes to the right specialist |
| 29 Runtime Shapes | DLQ handles N% failure |
यदि आपके मूल्यांकन सूट में प्रत्येक के लिए मामले हैं, तो आपने चरण 14 को कवर किया है।
जहां मूल्यांकन-चालित विकास विफल रहता है
- No baseline.अंतिम ज्ञात-अच्छा के बिना Evals अवाचनीय हैं. भंडारण आधार रेखाओं.
- LLM-judge without grounding.आलोचनात्मक पैटर्न (पाठ 05) बाहरी उपकरणों पर आधार पर न्याय करें।
- Over-fitting to evals.मूल्यांकन के लिए अनुकूलन उत्पादन उपयोगिता से भिन्न होता है।
- Flaky evals.गैर-निर्धारक मामलों में झूठी अलार्म पैदा होती है।
इसे बनाओ
code/main.pyएक stdlib eval हर्नस हैः
- श्रेणीओं के साथ मामले रजिस्टर (बेंचमार्क, कस्टम, ऑनलाइन)
- एक स्क्रिप्ट एजेंट परीक्षण के तहत.
- मूल्यांकनकर्ता-अनुकूलनकर्ता लूपः प्रस्ताव, न्याय, पार या अधिकतम राउंड तक परिष्कृत करें।
- आईसी गेटः समग्र पास दर + बेसलाइन के मुकाबले प्रतिगमन।
इसे चलाओः
python3 code/main.pyआउटपुटः प्रति मामले पास/फेल, रिग्रेशन फ्लैग, आईसी गेट फैसले।
इसका प्रयोग करें
- अपने एजेंट कोड के साथ एक ही रेपो में मूल्यांकन मामलों लिखें।
- उन्हें हर पीआर पर आईसी के माध्यम से चलाएं।
- प्रतिगमन पर निर्माण विफल.
- समय के साथ पास दर का पता लगाएं।
- प्रत्येक उत्पादन विफलता को एक नए मामले से जोड़ें।
इसे भेजें
outputs/skill-eval-suite.mdआईसी गेट और रेग्रिशन ट्रैकिंग के साथ एजेंट उत्पाद के लिए एक तीन-परत मूल्यांकन सूट बनाता है।
व्यायाम
- अपने उत्पादन विफलताओं में से एक ले लो, एक मूल्यांकन मामला लिखें जो इसे पुनः प्रस्तुत करता है।
- अपने डोमेन के लिए तीन आयामों (वास्तविक, स्वर, दायरा) के साथ एक एलएलएम-जजज रूब्रिक बनाएं। 50 सत्रों का स्कोर करें।
- मूल्यांकन सूट को आईसी में तार करें। >=5% प्रतिगमन पर बिल्ड विफल करें।
- एक प्रक्षेपवक्र-कुशलता मीट्रिक जोड़ेंः एजेंट ने कितने कदम किए बनाम एक सोने की प्रक्षेपवक्र?
- अपने सुइट में एक मूल्यांकन मामले के लिए प्रत्येक चरण 14 सबक मैप. कोई गायब?
प्रमुख शर्तें
| Term | What people say | What it actually means |
|---|---|---|
| Static benchmark | "Off-the-shelf eval" | SWE-bench, GAIA, AgentBench, WebArena, OSWorld |
| Custom offline eval | "Domain eval" | LLM-as-judge / exec / trajectory on your product shape |
| Online eval | "Production eval" | Session replay, guardrail alerts, cost/latency tracking |
| Evaluator-optimizer | "Propose-judge-refine" | Iterate until judge passes |
| CI gate | "Merge blocker" | Fail the build on eval regression |
| Baseline | "Last-known-good" | Reference score to detect regression |
| Trajectory efficiency | "Steps over gold" | Agent step count divided by human expert minimum |
आगे पढ़ना
- Anthropic, Building Effective Agents "सदा शुरू करें, मूल्यांकन के साथ अनुकूलित करें"
- OpenAI, SWE-bench Verified संकलित बेंचमार्क
- Berkeley Function Calling Leaderboard उपकरण उपयोग बेंचमार्क
- Langfuse docs मूल्यांकन + अभ्यास में सत्र दोहराव
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.