Phase 17: Infrastructure & Production

LLM के लिए FinOps यूनिट इकोनॉमिक्स और मल्टी-रिटेनेंट एट्रिब्यूशन

पारंपरिक FinOps LLM खर्च पर ब्रेक करता है। लागत टोकन-ट्रांजेक्शन हैं, संसाधन-अपटाइम नहीं। टैग मैप नहीं करते हैं एक एपीआई कॉल एक लेनदेन है, एक संपत्ति नहीं है। इंजीनियरिंग निर्णय (प्रॉम्प्ट डिजाइन, संदर्भ विंडो, आउटपुट लंबाई) वित्तीय निर्णय हैं। 2026 प्लेबुक में पहले दिन पर उपकरण के लिए तीन श्रेय आयाम हैंः प्रति उपयोगकर्ता (user_id) सीटों की कीमत और विस्तार के लिए, प्रति कार्य (task_id+ route) उत्पाद सतह लागत और प्राथमिकता के लिए, प्रति किरायेदार (tenant_id) इकाई अर्थव्यवस्था और नवीनीकरण के लिए। चार टोकन परतें शीघ्र, उपकरण, स्मृति, प्रतिक्रिया एक बाल्टी छिपा खर्च। बहु-आवासीय उत्पादों के लिए प्रवर्तन सीढ़ीः प्रतिआवासी दर सीमाएं (2-3x अपेक्षित शिखर, स्पष्ट 429 + पुनः प्रयास के बाद); दैनिक व्यय सीमा (1.5-3x अनुबंधित छत; ट्रिगर दर सख्त + चेतावनी); खर्च z-स्कोर > 4 (स्वचालित विराम + पृष्ठ पर कॉल) पर कट स्विच। एट्रिब्यूशन पैटर्नः टैग-एंड-एग्रीगेट, टेलीमेट्री-जोइनर (ट्रेस-आईडी → बिलिंग; उच्चतम सटीकता), नमूना-एंड-एक्स्ट्रापोलेशन, मॉडल-आधारित आवंटन, घटना-स्रोत, वास्तविक समय स्ट्रीमिंग। यूनिट मीट्रिकः प्रति हल प्रश्न लागत, प्रति उत्पन्न कलाकृतियों लागत $/M टोकन नहीं। प्रतिवर्ती टैगिंग हमेशा चूक जाती है; अनुरोध पर उपकरण निर्माण।

Type: Learn

Languages: Python (stdlib, toy cost-attribution simulator with kill switch)

Prerequisites: Phase 17 · 13 (Observability), Phase 17 · 14 (Caching)

Time: ~60 minutes

सीखने के लक्ष्य

समझाएं कि पारंपरिक FinOps (टैग + लेयर) LLM खर्च पर क्यों टूटते हैं और तीन नए श्रेय आयामों का नाम दें।
चार टोकन परतों (प्रॉम्प्ट, टूल, मेमोरी, प्रतिक्रिया) को सूचीबद्ध करें और एक-बकेट बिलिंग लागत को क्यों छिपाती है।
बहु-आवासीय उत्पाद के लिए एक प्रवर्तन सीढ़ी (दर → खर्च कैप → मार स्विच) डिजाइन करें।
$ / M टोकन के बजाय यूनिट मीट्रिक (प्रति हल प्रश्न / कलाकृतियों की लागत) चुनें।

समस्या

आपके बिल पर $40,000 है।

किस किरायेदार ने इसे खर्च किया।
किस उत्पाद सुविधा ने इसे चलाया।
क्या कोई व्यक्तिगत उपयोगकर्ता दुर्व्यवहार करता था।
चाहे वह शीघ्र फुलाना हो, उपकरण कॉल हो या मेमोरी में वृद्धि हो, दोष था।

टैग-एंड-एग्रीगेट प्रदाता-पक्ष के संसाधनों (EC2, S3) के लिए काम करता है जहां टैग लाइन आइटम में फैलते हैं। एलएलएम एपीआई कॉल ऑटो-टैग नहीं करते हैं। आपको कॉल साइट पर उपयोगकर्ता / कार्य / किरायेदार को स्टैम्प करना होगा और इसे पूरा करना होगा। प्रतिवर्ती श्रेय हमेशा किनारे मामलों को याद करता है।

अवधारणा

तीन श्रेणियों के आयाम

Per-user(user_id): कौन क्या खर्च कर रहा है। सीटों की कीमतों को चलाता है, विस्तार वार्तालाप करता है, बिजली उपयोगकर्ताओं की पहचान करता है।

Per-task(task_id+ routeड्राइव प्राथमिकता, मार-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-मारा-म-मारा-म-मारा-म-म-मारा-म-म-म-म-म-रा-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-म-

Per-tenant(tenant_id): कौन सा ग्राहक लाभदायक है। इकाई अर्थव्यवस्था, नवीनीकरण मूल्य निर्धारण, स्तर के सीमांकन को चलाता है।

पहले दिन कॉल साइट पर तीनों उपकरण।

चार प्रतीक परतें

Layer	Example	Typical % of total
Prompt	system + user input	40-60%
Tool	tool-call results fed back	20-40% (agent workloads)
Memory	prior conversation / retrieved docs	10-30%
Response	model output	10-30%

चारों को एक साथ जोड़ने से अनुकूलन अंधा हो जाता है. उन्हें अपने श्रेय योजना में तोड़.

प्रवर्तन सीढ़ी

Rate limitप्रति किरायेदार. 2-3x अपेक्षित शिखर. 429 के साथ वापसीRetry-Afterकिरायेदार घर्षण देखता है, कोई आश्चर्य बिल नहीं।

Daily spend capप्रति किरायेदार. 1.5-3x अनुबंधित छत. ट्रिगरः सख्त दर सीमा + चेतावनी ग्राहक सफलता.

Kill switchकिरायेदार मूल रेखा के सापेक्ष खर्च z-स्कोर > 4 पर। ऑटो-पॉज़ किरायेदार; कॉल पर पृष्ठ; अपरेशन + सीएस तक बढ़ें।

श्रेय पैटर्न

Tag-and-aggregate: स्टैम्प मेटाडेटा हेडर; बाद में संकलित. सरल; कच्चे.
Telemetry joiner: ट्रैक आईडी के माध्यम से बिलिंग के लिए निशान जोड़ें उच्चतम सटीकता. परिपक्व टीमों क्या करते हैं.
Sampling + extrapolation: नमूना 5-10%, गुणा। कच्चे खर्च के लिए लागत प्रभावी; पूंछों को याद करता है।
Model-based allocation: लागत चालक का अनुमान लगाने के लिए प्रतिगमन।
Event-sourced: लागत एक धारा में घटनाओं के रूप में (Kafka / Kinesis). वास्तविक समय में।
Real-time streaming: डैशबोर्ड अपडेट उप-दूसरा।

प्रति एक्स लागत इकाई मीट्रिक है

$/M टोकन विक्रेता बोलता है. उत्पाद मापः

प्रति हल समर्थन टिकट की लागत।
प्रति उत्पादित वस्तु की लागत।
सफल एजेंट कार्य के प्रति लागत।
प्रति उपयोगकर्ता सत्र-मिनट लागत।

किसी उत्पाद के परिणाम के लिए लागत को जोड़ें अन्यथा अनुकूलन अनान्कर है।

लागत श्रेय के निशान का आकार

trace_id: abc123
  user_id: u_42
  tenant_id: t_7
  task_id: task_classify_doc
  route: model_haiku
  layers:
    prompt_tokens: 1800
    tool_tokens: 600
    memory_tokens: 400
    response_tokens: 150
  cost_usd: 0.0135
  cached_input: true
  batch: false

प्रत्येक कॉल पर भेजें. डेटा झील में स्टोर करें. आयाम प्रति संकलित. चरण 17 · 13 अवलोकनशीलता ढेर है जहां यह रहता है.

संश्लेषित बचत स्टैक

स्टैकः कैश + बैच + मार्ग + गेटवे। सभी चार के साथः

कैश L2 (चरण 17 · 14): ~ 10 गुना सस्ता इनपुट।
बैच (चरण 17 · 15): 50% छूट।
सस्ते मॉडल के लिए मार्ग (चरण 17 · 16): 60% लागत में कमी।
गेटवे दक्षता (चरण 17 · 19): अधिशेष + पुनः प्रयास।

सबसे अच्छा मामला स्टैक किया गयाः ~ 5-10% साफ़ आधार रेखा। अधिकांश टीमों में 2-3 लीवर लगे हुए हैं; कुछ चारों को स्टैक करते हैं।

संख्याओं को याद रखना चाहिए

आवंटन आयामः प्रति उपयोगकर्ता, प्रति कार्य, प्रति किरायेदार।
चार टोकन परतेंः शीघ्र, उपकरण, स्मृति, प्रतिक्रिया।
मारने के लिए स्विचः z- स्कोर> 4 खर्च करें।
यूनिट मीट्रिकः प्रति हल प्रश्न लागत, $/M टोकन नहीं।
स्टैक किए गए अनुकूलनः ~ 5-10% बेसलाइन संभव।

इसका प्रयोग करें

code/main.pyतीन स्तरों के प्रवर्तन सीढ़ी के साथ एक बहु-आवासीय LLM सेवा का अनुकरण करता है। एक दुर्व्यवहार किरायेदार इंजेक्ट करता है और मार स्विच शूटिंग का प्रदर्शन करता है।

इसे भेजें

यह सबक हमें फल देता हैoutputs/skill-finops-plan.md. उत्पाद और पैमाने को देखते हुए, श्रेय योजना और प्रवर्तन सीढ़ी का डिजाइन करता है।

व्यायाम

दौड़ेंcode/main.py. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
एक किरायेदार, प्रति कार्य लागत डैशबोर्ड डिजाइन करें. आप पहले 5 दृश्य क्या बनाते हैं?
आपका सबसे बड़ा किरायेदार इकाई-अर्थव्यवस्था-नकारात्मक है. ग्राहक प्रभाव के अनुसार आदेश तीन हस्तक्षेपों का प्रस्ताव.
समर्थन उत्पाद के लिए प्रति हल टिकट की लागत की गणना करेंः 3M टोकन/टिकट, ~800 टिकट/दिन, GPT-5 कैश दर।
क्या रिट्रोएक्टिव टैगिंग कभी काम कर सकती है?

प्रमुख शर्तें

Term	What people say	What it actually means
Per-user attribution	"user-level cost"	`user_id` stamped on every call
Per-task attribution	"feature cost"	`task_id` + `route` identify product surface
Per-tenant attribution	"customer cost"	`tenant_id`; drives unit economics
Four token layers	"cost layers"	prompt + tool + memory + response
Rate limit	"429 guard"	Per-tenant ceiling enforced at gateway
Daily spend cap	"daily ceiling"	Tenant-scoped budget with alert
Kill switch	"auto-pause"	Spend z-score > 4 triggers auto-suspension
Cost per resolved	"product unit metric"	Cost tied to product outcome, not tokens
Telemetry joiner	"trace-to-billing"	Highest-accuracy attribution pattern
Stacked optimization	"cache+batch+route+gateway"	Compounding savings to ~5-10% baseline

आगे पढ़ना

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.