Phase 17: Infrastructure & Production

انتخاب ستک مشاهده LLM

بازار مشاهده ای در سال 2026 به دو دسته تقسیم می شود. پلتفرم های توسعه (LangSmith، Langfuse، Comet Opik) نظارت را با ارزیابی ها، مدیریت فوری، تکرار جلسه ترکیب می کنند. ابزار دروازه/آداپذیری (Helicone، SigNoz، OpenLLMetry، Phoenix) بر تله متری تمرکز دارد. لانگفوز هسته ای دارای مجوز MIT با تعادل OSS قوی (50K رویداد / ماه ابر رایگان) است. فینکس تحت مجوز Elastic 2.0 (Fenix) برای تصویربرداری drift / RAG عالی است، نه یک backend تولید مداوم. آریز اکس از یکپارچه سازی ایزبرگ/پارکت با نسخه صفر استفاده می کند که ادعا می کند 100 برابر ارزان تر از قابل مشاهده ی مونولیتی است. لانگ اسمیت برای لانگچین / لانگ گراف پیش می رود 39 دلار / کاربر / ماه، میزبان خود در شرکت فقط. هليکون با 15 تا 30 دقيقه راه اندازی شده، 100 هزار ريك/ماه آزاد، اما عمق کمتر در ردیاب عامل الگوی تولید مشترک: Gateway (Helicone/Portkey) + پلتفرم eval (Phoenix/TruLens) که توسط OpenTelemetry چسبیده شده است.

Type: Learn

Languages: Python (stdlib, toy trace-sampling simulator)

Prerequisites: Phase 17 · 08 (Inference Metrics), Phase 14 (Agent Engineering)

Time: ~60 minutes

اهداف یادگیری

  • سیستم عامل های توسعه را (با هم جمع آوری شده: ارزیابی + درخواست + جلسات) از ابزار دروازه / تله متری (تنها ردیاب + متریک) متمایز کنید.
  • نقشه شش ابزار اصلی (Langfuse، LangSmith، Phoenix، Arize AX، Helicone، Opik) را به صورت مجوز، قیمت گذاری و موارد استفاده از نقطه شیرین آنها.
  • الگوی OpenTelemetry-گلو را توضیح دهید که به شما اجازه می دهد یک ابزار دروازه را با یک سیستم عامل ارزیابی جداگانه ترکیب کنید.
  • تفاوت هزینه 2026 را نام دهید (رفتار صفر کپی آریز AX در مقابل مصرف یکتایی) و ضربات تقریبا 100x را بیان کنید.

مشکل

شما یک ویژگی LLM ارسال کرده اید. کار می کند. شما هیچ دید در شکست های فوری، حلقه های ابزار، بازگشت تاخیر، افزایش هزینه ها، یا نرخ ضربه های prompt-cache ندارید. شما گوگل "ببینشی LLM" را دریافت می کنید و هشت ابزار را دریافت می کنید که ادعا می کنند با سه نقطه قیمت مختلف مشکل مشابه را حل می کنند.

این دو مشکل را حل نمی کنند. لانگ اسمیت پاسخ می دهد "چرا این اجرا لانگ گراف شکست خورده است؟" فینکس پاسخ می دهد "آیا لوله RAG من حرکت می کند؟" هلیکون پاسخ می دهد "چه برنامه ای توکن ها را می سوزاند؟" لانگ فوز پاسخ می دهد "آیا می توانم همه چیز را خودم میزبانی کنم؟" ابزارهای مختلف، مخاطبان مختلف.

انتخاب شامل چهار محور است: دسته بندی (LangChain؟ خام SDK؟ چند فروشنده؟) ، تحمل مجوز (تنها MIT؟ انعطاف پذیر OK؟ جریمه تجاری؟) ، بودجه (مستد رایگان؟ $100/mo? $1000/ماه؟) و خود میزبان (باید؟ خوب برای داشتن؟ هرگز؟)

مفهوم

دو دسته

Development platformsشما آزمایشات انجام می دهید، ببینید کدام پرامپت کار کرده، بازپسین مجموعه داده ها یک پرامپت جدید در برابر برنده های قدیمی.

Gateway/telemetry toolsتماس های نتیجه گیری ابزار سریع، پاسخ، توکن، تاخیر، مدل، هزینه. هلیکون، سیگ نوز، OpenLLMetry، فینکس. کمترین. می تواند با یک ابزار ارزیابی جداگانه از طریق OpenTelemetry ترکیب شود.

ترازوی لنگفوز OSS

  • مجوز اصلی Apache / MIT؛ خود میزبان از طریق Docker.
  • سطح رایگان ابر: 50 هزار رویداد در ماه. پرداخت: 29 دلار در ماه برای تیم.
  • برابري، مدیریت سریع، ردیاب، مجموعه داده ها، پوشش معقول از همه چهار ویژگی پلتفرم توسعه.
  • نقطه خوش: شما می خواهید ویژگی های کلاس LangSmith اما باید خود میزبان یا باقی بر روی مجوز OSS.

فینیکس (آریز) اولین دوربین، OpenTelemetry

  • مجوز انعطاف پذیر 2.0؛ خود میزبان معمولی
  • در RAG و تجسم تجسمي تحريف عالي بود.
  • طراحی نشده است که به عنوان پشت سرانه تولید پایدار باشد عمدتاً قابل مشاهده در زمان توسعه.
  • نقطه خوش: توسعه خط لوله های RAG، بازبینی حرکت، جفت با یک دروازه جداگانه برای تولید.

آریز اکس بازی مقیاس

  • تجاري، ادغام داده هاي جهيل صفر نسخه از طریق آيسبرگ/پارکت
  • ادعا می کند که 100 برابر ارزان تر از مشاهده ی یک سنگ (در کلاس داداتوگ) در مقیاس است. ریاضیات: شما آثار را در پارکت خود در S3 ذخیره می کنید؛ آریز مستقیماً می خواند.
  • نقطه خوش: > 10 میلیون ردیابی در روز، دریاچه داده های موجود، می خواهند داشبورد های خاص LLM بدون قیمت گذاری Datadog.

لانگ اسمیت لانگچین/لانگ گراف اول

  • تجارتي، 39 دلار در ماه، خود میزبان فقط در شرکت
  • بهترين دسته براي دسته هاي لانگچين و لانگ گراف
  • نقطه خوش: تیم متعهد به لانگچين، آماده پرداخت

هلیکون حداقل قابل اجرا مبتنی بر پروکسی

  • 15 تا 30 دقيقه با عوض کردنOPENAI_API_BASEبه نيروي هليكون
  • مجوز MIT؛ 100 هزار دلار در ماه رایگان، 20 دلار در ماه پرداخت شده
  • شامل failover، caching، محدودیت نرخ به عنوان یک دروازه نیز عمل می کند.
  • عمق کمتر در اثر عوامل / چند مرحله ای
  • نقطه خوش: راه اندازی سریع، اپلیکیشن تک دسته، نیاز به دروازه + مشاهده در یک.

Opik (Comet) پلت فرم توسعه OSS

  • اپاچي 2.0، کاملاً با استفاده از سیستم عامل
  • ویژگی مشابهي که به لانگفوز با میراث ستاره دنباله دار ها داده شده
  • نقطه خوش: تیم های ML که قبلاً روی Comet هستند، می خواهند LLM در همان صفحه مشاهده شود.

SigNoz OpenTelemetry-اولین APM کامل

  • اپاچی 2.0 از طریق OpenTelemetry APM عمومی و LLM را اداره می کند.
  • نقطه خوش: مشاهده ی یکپارچه در میان خدمات و تماس های LLM.

چسب: OpenTelemetry + GenAI کنوانسیون های معنوی

OpenTelemetry در اواخر سال 2025 کنوانسیون های معنوی GenAI را منتشر کرد (gen_ai.system،gen_ai.request.model،gen_ai.usage.input_tokensابزار مصرف کننده OTel می تواند با هم کار کند.

  1. از هر تماس LLM OTel با کنوانسیون GenAI منتشر کنید.
  2. مسیر به دروازه (هلیکون / پورتکی) برای روز به روز.
  3. دو کشتی به سیستم عامل ارزیابی (Phoenix / Langfuse) برای بازپسین.
  4. آرکائیو در دریاچه داده (آیسبرگ) برای تجزیه و تحلیل بلند مدت از طریق Arize AX یا DuckDB.

تله: سازنده در لایه اشتباه

ابزارک در داخل چارچوب عامل شما (به عنوان مثال، اضافه کردن ردیابی LangSmith) شما را به آن چارچوب متصل می کند. ابزارک در لایه HTTP / OpenAI-SDK (به وسیله OpenLLMetry یا دروازه شما) قابل حمل است.

نمونه گیری نمیتونی همه چیز رو نگه داری

در > 1 میلیون درخواست/روز، حفظ کامل هزینه بیشتر از تماس های LLM است. نمونه با قوانین: 100٪ اشتباهات، 100٪ هزینه بالا، 5٪ موفقیت. جمع آوری را همیشه نگه دارید؛ برای دم طولانی خام نگه دارید.

شماره هایی که باید به یاد داشته باشی

  • ابر رایگان Langfuse: 50 هزار رویداد در ماه
  • لانگ اسمیت: 39 دلار/مستخدم/ماه
  • هلیکوین رایگان: 100 هزار رقیق در ماه
  • ادعای آریز AX: ~ 100 برابر ارزان تر از سنگ شکن در مقیاس.
  • کنوانسیون های OpenTelemetry GenAI: 2025 حمل و نقل دریایی، 2026 به طور گسترده ای پذیرفته شده است.

ازش استفاده کن

code/main.pyیک روز ردیابی 1M را در استراتژی های حفظ (استفاده 100٪، نمونه گیری، نمونه گیری + خطا) شبیه سازی می کند. هزینه ذخیره سازی و آنچه در زیر هر یک از آنها از دست داده شده است را گزارش می دهد.

-باده

این درس به ما کمک می کندoutputs/skill-observability-stack.md. با توجه به تعداد، مقیاس، بودجه، حالت مجوز، ابزار را انتخاب می کند.

تمرینات

  1. تیم شما در لانگچين مي خواد که خودآگاهي از نظر خودآگاهي از او اسس داشته باشه
  2. با 5 ميليون تاچ در روز با Datadog 150 هزار دلار در ماه نرخ داده شده، حسابي براي Arize AX همبستگي
  3. طراحی یک ویژگی OpenTelemetry GenAI تنظیم دستورالعمل سازمان شما باید در هر تماس LLM اجباری.
  4. بحث ميکنيم که آيا فنيکس به تنهایی براي توليد کافي است.
  5. هليكون 20ms است واكسي اونورده در P99 TTFT 300ms، اين قابل قبوله؟ اگه SLA 100ms باشه چي؟

اصطلاحات کلیدی

TermWhat people sayWhat it actually means
OpenLLMetry"OTel for LLMs"Open-source OpenTelemetry instrumentation for LLMs
GenAI conventions"OTel attributes"Standard OTel attribute names for LLM calls
LangSmith"LangChain observability"Commercial platform bundled with LangChain ecosystem
Langfuse"OSS LangSmith"MIT OSS with similar feature set
Phoenix"Arize dev tool"OpenTelemetry-native dev/eval platform
Arize AX"scale observability"Commercial zero-copy Iceberg/Parquet observability
Helicone"proxy observability"HTTP proxy collecting LLM telemetry + gateway features
Opik"Comet LLM"Apache 2.0 OSS dev platform from Comet
Session replay"trace rerun"Replay a full agent session with tool calls
Eval"offline test"Running candidate model/prompt over labeled dataset

خواندن بیشتر

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.