Phase 14: Agent Engineering

विचार और कार्य का वृक्षः जानबूझकर खोज

एक एकल सोच श्रृंखला के लिए पीछे हटने की कोई जगह नहीं है। ToT (याओ एट एल, 2023) प्रत्येक नोड पर आत्म-मूल्यांकन के साथ तर्क को एक पेड़ में बदल देता है। LATS (जो एट एल, 2024) Monte Carlo Tree Search के तहत ReAct और Reflexion के साथ ToT को एकीकृत करता है। 24 का खेल 4% (CoT) से 74% (ToT) तक जाता है; LATS HumanEval पर 92.7% pass@1 पर पहुंचता है।

Type: Build

Languages: Python (stdlib)

Prerequisites: Phase 14 · 01 (Agent Loop), Phase 14 · 03 (Reflexion)

Time: ~75 minutes

सीखने के लक्ष्य

खोज के रूप में फ्रेम तर्कः नोड्स "विचार" हैं, "अंत" "विस्तार" हैं, "मूल्य" कितना आशाजनक है। "
स्व-मूल्यांकन स्कोरिंग के साथ एक stdlib ToT शैली BFS पेड़ खोज लागू करें।
चयन / विस्तार / अनुकरण / बैकप्रॉपेगेट के साथ एक खिलौना LATS MCTS लूप तक विस्तार करें।
यह तय करें कि खोज कब टोकन गुणक के लायक है (गेम ऑफ 24, कोड जनरेशन) और जब एक ही पटरियों पर्याप्त है (सरल प्रश्न और उत्तर) ।

समस्या

विचार श्रृंखला एक रैखिक चाल है। यदि पहला कदम गलत है, तो प्रत्येक बाद का कदम एक गलत परमिट पर काम करता है। 24 के खेल पर (24 बनाने के लिए + − × ÷ के साथ चार अंकों का उपयोग करें), GPT-4 CoT 4% सटीकता पर पहुंचता है। मॉडल गलत उप-उल्लेखना जल्दी चुनता है और ठीक नहीं हो सकता है।

विचार करने की जरूरत है कि कई उम्मीदवारों का प्रस्ताव करने, उनका मूल्यांकन करने, आशाजनक उम्मीदवारों को चुनने और जब कोई गतिरोध दिखाई देता है तो पीछे हटने की क्षमता है। यह खोज है। विचार के पेड़ और LATS दो कैनोनिक सूत्र हैं।

अवधारणा

विचारों का वृक्ष (याओ एट अल., न्यूरआईपीएस 2023)

प्रत्येक नोड एक सुसंगत मध्यवर्ती चरण ("एक विचार") है। प्रत्येक नोड K बच्चे के विचारों तक विस्तार कर सकता है। LLM एक स्कोरिंग प्रॉम्प्ट के साथ प्रत्येक नोड का आत्म-मूल्यांकन करता है। खोज पेड़ की खोज करता है BFS, DFS, या बीम।

                     (root: "find 24 from 4 6 4 1")
                    /               |            \
           ("6 - 4 = 2")    ("4 + 1 = 5")    ("4 * 6 = 24")  <- Score: HIGH
              /   \              |                  |
          ...    ...          ...                finish

आत्म-मूल्यांकन भार सहन करने वाला टुकड़ा है। पेपर में तीन प्रकार दिखाए गए हैंःsure / likely / impossibleवर्गीकरण, 1..10सभी तीनों ने 24 के खेल में CoT को काफी हद तक हराया (4% -> 74% GPT-4) ।

LATS (Zhou et al., ICML 2024)

एलएटीएस एमसीटीएस के तहत टूटी, रिएक्ट और रिफ्लेक्शन को एकजुट करता है। एलएलएम तीन भूमिकाएं निभाता हैः

Policy: उम्मीदवारों के लिए अगले कार्यों का प्रस्ताव (ReAct शैली) ।
Value function: आंशिक पटरियों (ToT शैली में स्व-समान) को स्कोर करें।
Self-reflector: असफलता पर, एक प्राकृतिक भाषा पर प्रतिबिंब लिखें (प्रतीबिंब शैली) और भविष्य के रोलआउट को फिर से सोचने के लिए इसका उपयोग करें।

पर्यावरण प्रतिक्रिया (निरीक्षण) मूल्य फ़ंक्शन में मिश्रित होती है ताकि खोज को वास्तविक उपकरण परिणामों से सूचित किया जाए, न कि केवल मॉडल राय। पेपर समय पर परिणामः HumanEval pass@1 92.7% GPT-4 (SOTA) के साथ, WebShop औसत 75.9 GPT-3.5 के साथ (ग्रेडिएंट आधारित बारीक-बारी से अनुकूलन के करीब) ।

न्यूनतम MCTS

प्रति पुनरावृत्ति चार चरणः

Select UCT (वृक्षों के लिए बाध्य ऊपरी विश्वास) का उपयोग करके जड़ से पत्ती तक चलें।
Expand पॉलिसी के जरिए K बच्चे पैदा करें।
Simulate पॉलिसी का उपयोग करके एक बच्चे से रोलआउट, मूल्य फ़ंक्शन (या पर्यावरण पुरस्कार) के साथ पत्ती अंकित करें।
Backpropagate यात्राओं की संख्या और मूल्य अनुमानों को अपडेट करें।

UCT सूत्र: Q(s, a) + c * sqrt(ln N(s) / N(s, a))पहला शब्द शोषण है, दूसरा अन्वेषण है।cप्रति कार्य।

लागत वास्तविकता

खोज टोकन विस्फोट करता है। 24 के खेल पर ToT 1001000x कोट के टोकन का उपयोग करता है। LATS समान है। यह मुफ्त नहीं है; आरक्षित खोज के लिएः

ऐसे कार्य जहां एक ही पथ स्पष्ट रूप से अपर्याप्त है (गेम ऑफ 24, जटिल कोड) ।
कार्य जहां वॉल-घड़ी सटीकता से कम महत्वपूर्ण है।
सस्ते, विश्वसनीय मूल्य फ़ंक्शन (कोड के लिए इकाई परीक्षण, गणित के लिए स्पष्ट लक्ष्य) के साथ कार्य।

यदि आपके कार्य में केवल एक सही उत्तर और एक शोरबाज मूल्यांकनकर्ता है, तो खोज अक्सर चीजों को और भी बदतर बनाती है यह एक "अच्छा स्कोर" गलत उत्तर पाता है।

2026 स्थिति

अधिकांश उत्पादन एजेंट LATS नहीं चलाते हैं। वे उपकरण-आधारित सत्यापन (CRITIC, पाठ 05) के साथ ReAct चलाते हैं।

मान फ़ंक्शन के रूप में परीक्षण करने वाले कोडिंग एजेंट (HumanEval-style)
गहन अनुसंधान एजेंट जो कई क्वेरी पथों की खोज करते हैं।
लैंगग्राफ उपग्राफ के भीतर नियोजन-भारी कार्यप्रवाह।

अल्फा इवोल्व (पाठ 11) 2025 का चरम है: कोड पर विकासवादी खोज, मशीन-चेक योग्य फिटनेस, सीमावर्ती लाभ (56 वर्षों में पहली 4x4 मैटमूल सुधार) ।

इसे बनाओ

code/main.pyकार्य करता हैः

एक स्टाइलिश "चयन अंकगणितीय संचालन" कार्य पर एक छोटा ToT BFS.
UCT चयन के साथ एक ही कार्य (सलेक्ट / एक्सपेंड / सिमुलेट / बैकप्रोपेगेट) पर एक खिलौना LATS MCTS लूप।
एक मूल्य फ़ंक्शन जो प्रतीकात्मक स्कोर प्लस स्व-मान स्कोर बनाता है।

इसे चलाओः

python3 code/main.py

ट्रैक में दिखाया गया है कि बीएफएस के साथ प्रत्येक नोड पर तीन उम्मीदवारों का विस्तार करने वाले टीओटी की तुलना में एमसीटीएस के माध्यम से सबसे अच्छे रोलआउट पर एलएटीएस की अभिसरण। दोनों के लिए टोकन गिनती मुद्रित की गई है।

इसका प्रयोग करें

लैंगग्राफ उपग्राफ पैटर्न के रूप में ToT शैली की खोज भेजता है; लैंगचेन टीम का LATS (मई 2024) पर ब्लॉग संदर्भ ट्यूटोरियल है। LlamaIndex एक TreeOfThoughts2026 के अधिकांश उत्पादन एजेंटों के लिए यह पैटर्न एक के पीछे रहता हैif task_complexity > threshold: use_search()gate देखें पाठ 05 में मूल्यांकनकर्ता-अनुकूलन पैटर्न।

इसे भेजें

outputs/skill-search-policy.mdकार्य आकार, बजट और मूल्यांकनकर्ता निष्ठा के आधार पर रैखिक ReAct, ToT, LATS और विकासात्मक खोज के बीच चयन करता है।

व्यायाम

UCT c=0.1 बनाम c=2.0 के साथ खिलौना LATS चलाएं।
क्या MCTS अभी भी सबसे अच्छा पत्ती पाता है? यह न्यूनतम संकेत-से-शोर का क्या सहन करता है?
बीम-खोज ToT (प्रत्येक स्तर पर शीर्ष-के बनाए रखें) को लागू करें और BFS की तुलना करें। एक तंग टोकन बजट पर कौन सा बेहतर है?
LATS धारा 5.1 पढ़ें। HumanEval ट्रैक्टोरिया गणना को दोहराएंः रिपोर्ट किए गए पास@1 को प्राप्त करने के लिए कितने रोलआउट की आवश्यकता होती है?
"जब LATS कम मदद करता है" पर LATS पेपर की चर्चा पढ़ें। खोज रणनीति के लिए एक पैराग्राफ निर्णय नियम का नक्शा बनाने के लिए कार्य आकार लिखें।

प्रमुख शर्तें

Term	What people say	What it actually means
Tree of Thoughts	"Branching CoT"	Yao et al. — tree of thought nodes with self-evaluation
LATS	"MCTS for LLMs"	Zhou et al. — unifies ToT + ReAct + Reflexion under MCTS
UCT	"Upper confidence bound"	Select formula balancing exploitation (Q) and exploration (ln N / n)
Value function	"How good is this state"	Prompted LLM score or environment reward; feeds backprop
Policy	"Action proposer"	ReAct-style generator; emits candidate next thoughts/actions
Rollout	"Simulated trajectory"	Walk from a node to a leaf using policy, score with value
Backpropagate	"Update ancestors"	Push the leaf's reward up the path, updating visit counts and Q
Search cost	"Token explosion"	100-1000x CoT on Game of 24; budget before you adopt

आगे पढ़ना

Yao et al., Tree of Thoughts (arXiv:2305.10601) कैनोनिक पेपर
Zhou et al., LATS (arXiv:2310.04406) चिंतन प्रतिक्रिया के साथ एमसीटीएस
LangGraph overview खोज के लिए उपग्राफ पैटर्न
AlphaEvolve (arXiv:2506.13131) प्रोग्रामेटिक मूल्यांकनकर्ताओं के साथ विकासवादी खोज

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.