Phase 17: Infrastructure & Production

اختيار مجموعة مراقبة LLM

ينفصل سوق الملاحظة لعام 2026 إلى فئتين. منصات التطوير (لانغ سميث، لانغفوز، كوميت أوبيك) تجمع المراقبة مع تقييمات، إدارة السرعة، إعادة تشغيل الجلسات. أدوات البوابة/الأدوات (هيليكون، سيج نوز، OpenLLMetry، فينيكس) تركز على التلفنيات. لانغفوز هو نواة مرخصة بمعهد MIT مع ميزان قوي من OSS (50K الأحداث / شهر مجانا السحابة). فينيكس هو OpenTelemetry-أصلي تحت رخصة Elastic 2.0 ممتازة للتصور التجويب / RAG ، وليس خلفية الإنتاج المستمرة. أريز أكس تستخدم إكمال صفر نسخة Iceberg / Parquet الدعوة 100x أرخص من قابلية الملاحظة الحديدية. لانج سميث يؤدي للانج تشين / لانجغراف ، 39 دولار / مستخدم / شهر ، مضيف ذاتي في الشركة فقط. هليكون هو القائم على النظام الأساسي مع 15-30 دقيقة إعداد، 100K ريكو / mo مجانا، ولكن أقل عمق على آثار الوكيل. نمط الإنتاج المشترك: Gateway (Helicone/Portkey) + منصة eval (Phoenix/TruLens) الملتصقة بـ OpenTelemetry.

Type: Learn

Languages: Python (stdlib, toy trace-sampling simulator)

Prerequisites: Phase 17 · 08 (Inference Metrics), Phase 14 (Agent Engineering)

Time: ~60 minutes

أهداف التعلم

  • تمييز منصات التطوير (مجمعة: تقييمات + طلبات + جلسات) عن أدوات البوابة / التلفاز (المتابعات + المقاييس فقط).
  • خريطة ستة أدوات رئيسية (Langfuse، LangSmith، فينيكس، أريز أكس، هليكون، أوبيك) إلى حالات التراخيص، الأسعار، والنقاط الحلوة الاستخدام.
  • شرح نمط OpenTelemetry-القشرة التي تسمح لك بتجميع أداة البوابة مع منصة تقييم منفصلة.
  • أسمائ متفرق التكلفة لعام 2026 (نهج أريز أكس الصفر النسخ مقابل استهلاك أحادي) وذكر مضاعف 100x تقريبًا.

المشكلة

لقد أرسلت ميزة LLM. تعمل. ليس لديك رؤية في فشلات فورية، حلقات الأدوات، تراجع التأخير، ارتفاع التكاليف، أو معدل ضربات التخزين الفوري. يمكنك جوجل "ملاحظة LLM" وتحصل على ثمانية أدوات جميعها تدعي أنها تحل نفس المشكلة في ثلاثة نقاط سعر مختلفة.

لا يحلوا نفس المشكلة. أجاب لانغ سميث "لماذا فشل تشغيل لانغغراف هذا؟" أجاب فينيكس "هل تنحدر خط أنابيبي RAG؟" أجاب هليكون "أي تطبيق يحرق الرموز؟" أجاب لانغفوز "هل يمكنني استضافة الأمر كله بنفسي؟" أدوات مختلفة، جمهور مختلف.

يتضمن اختيار أربع محورات: كومة (LangChain؟ SDK خام؟ متعدد البائعين؟) ، وتسامح الترخيص (MIT فقط؟ Elastic OK؟ جرامة تجارية؟) ، ميزانية (مستوى مجاني؟ $100/mo? $1000/شهر؟) ، والضيف الذاتي (يجب أن يكون لطيفاً؟ أبداً).

المفهوم

فئتين

Development platformsيمكنك تشغيل التجارب، ومعرفة أي طلب عمل، وتراجعة مجموعة البيانات، ومعرفة طلب جديد ضد الفائزين القديمين. لانغ سميث، لانغفوز، كوميت أوبيك.

Gateway/telemetry toolsاستنتاج الأداة الدعوات التسارع، الاستجابة، الرموز، التأخير، النموذج، التكلفة. هليكون، SigNoz، OpenLLMetry، فينيكس. الحد الأدنى. يمكن دمجها مع أداة تقييم منفصلة عن طريق OpenTelemetry.

توازن لنجفوز OSS

  • أساس Apache / MIT مرخصة؛ مضيف الذاتي عبر Docker.
  • مستوى مجاني من السحابة: 50 ألف حدث في الشهر. المدفوع: 29 دولار في الشهر لفريق.
  • إدارة السرعة، التتبع، مجموعات البيانات، تغطية معقولة لجميع ميزات منصة التطوير الأربعة.
  • نقطة حلوة: تريد ميزات من فئة LangSmith ولكن يجب أن تستضيف نفسك أو تبقى على رخصة OSS.

فينيكس (أريز) التليمتريا-الأول، OpenTelemetry-أصل

  • رخصة مرنة 2.0، مضيف ذاتي
  • ممتاز في الرؤية الرأسية والحركة، ووضع مساحات التشتت في الفضاء
  • لم يتم تصميمها كخلفية إنتاجية ثابتة يمكن ملاحظتها في الأساس في وقت التطوير.
  • نقطة حلوة: تطوير خطوط أنابيب RAG، تحريف التنقل، أزواج مع بوابة منفصلة للإنتاج.

أريز أكس العب النطاق

  • تجارية، إضافة بيانات بحيرة صفر نسخة عبر (آيسبرغ) /باركيت
  • يطالبون بأنها أرخص 100 مرة من الملاحظة الوحيدة (طبقة داتادوغ) على مقياس. الرياضيات: تخزن آثار في بركيت الخاص بك على S3؛ أريز تقرأ مباشرة.
  • نقطة حلوة: > 10 مليون متابعة يوميا، بحيرة البيانات الحالية، تريد لوحة التحكم الخاصة بالشركة بدون تسعير Datadog.

لانج سميث لانج تشين/لانجغراف أولاً

  • تجاري، 39 دولار/شهر، مضيف ذاتي فقط على الشركة
  • أفضل في الفئة لـ "لانج تشين" و "لانج غراف" إذا لم تكن في أي من هذين الإثنين، فهي أقل إقناعاً
  • نقطة حلوة: فريق ملتزم لـ (لانج تشين) ، مستعد للدفع

هليكون القائمة على النظام الأساسي الحد الأدنى ممكن

  • 15-30 دقيقة من الإعداد عن طريق تبادل الخاص بك OPENAI_API_BASEإلى وكيل "هيليكون"
  • رخصة معهد ماساتشوستس للتكنولوجيا، 100 ألف دولار مجاناً في الشهر، مدفوعين 20 دولار في الشهر.
  • يشمل الإفشل، التخزين الآلي، حدود الأسعار يعمل كبوابة أيضا.
  • أقل عمق على العامل / أثر متعددة الخطوات.
  • نقطة حلوة: بدء سريع، تطبيق واحد، تحتاج إلى بوابة + قابلية للملاحظة في واحد.

أوبيك (كوميت) منصة تطوير OSS

  • أباتشي 2.0، أوتش كاملاً
  • ميزة مماثلة لـ (لانغفوز) مع التراث الكوميدي
  • نقطة حلوة: فرق المعلمين المعلمين بالفعل على الكوميتا، يريدون الملاحظة في نفس الشاشة.

SigNoz OpenTelemetry-أول APM كامل

  • أباتشي 2.0 يتعامل مع APM العام بالإضافة إلى LLM عبر OpenTelemetry.
  • نقطة اللطيفة: قابلية مراقبة موحدة عبر الخدمات ومكالمات الجامعة.

الغراء: OpenTelemetry + GenAI الاتفاقيات الترجمية

أعلنت OpenTelemetry عن اتفاقيات جيناي المفصلية في أواخر عام 2025 (gen_ai.system،gen_ai.request.model،gen_ai.usage.input_tokensأدوات تستخدم OTel يمكن أن تتفاعل. نمط الإنتاج الناشئ:

  1. إرسال "أوتل" مع اتفاقيات "جناي" من كل دعوة لـ"إل إل"
  2. الطريق إلى البوابة (هليكون / بورتكي) للعمل اليومي.
  3. منصة تقييم مزدوجة (فينكس / لانغفوز) للعودات.
  4. أرشيف في بحيرة البيانات (آيسبرغ) للتحليل طويل الأجل عبر Arize AX أو DuckDB.

الفخ: الاستعمال في الطبقة الخاطئة

يربطك الاستعمال داخل إطار وكيلك (على سبيل المثال ، إضافة آثار لانغسميث) إلى هذا الإطار. الاستعمال في طبقة HTTP / OpenAI-SDK (من خلال OpenLLMetry أو بوابة البوابة الخاصة بك) محمول.

عينة لا يمكنك الاحتفاظ بكل شيء

عند > 1 مليون طلب في اليوم، تكلفة الاحتفاظ بالكامل أكثر من مكالمات الجامعة. العينة حسب القواعد: 100٪ الأخطاء، 100٪ ارتفاع التكلفة، 5٪ النجاح. الحفاظ على المجمعات دائما؛ الحفاظ على الخام لمدة طويلة.

أرقام يجب أن تتذكر

  • السحابة المجانية لـ Langfuse: 50 ألف حدث/شهر
  • لانج سميث: 39 دولار/شهر
  • هليكون مجاني: 100 ألف ريكو/شهر
  • دعوى أريز أكس: ~ 100 مرة أرخص من الحد الأوحادي على نطاق واسع.
  • اتفاقيات OpenTelemetry GenAI: 2025 البحر، 2026 تم اعتماده على نطاق واسع.

استخدمها

code/main.pyيحاكي يوم 1 مليون متابعة عبر استراتيجيات الاحتفاظ (100% استهلاك، أخذ العينات، أخذ العينات + أخطاء).

أرسله

هذا الدرس يُنتجoutputs/skill-observability-stack.md. بالنظر إلى الكمية، والقياس، وال ميزانية، وضعية الترخيص، يختار الأداة (().

التمارين

  1. فريقك على "لانغ تشين" يريد أن تكون "أوس" قابلة للملاحظة بنفسه، اختر "لانغفوز" أو "أوبيك" واصرح
  2. عند 5M أثر / يوم مع بيانات 150K دولار / شهر، حساب الانسحاب حتى ل Arize أكس.
  3. تصميم صفة OpenTelemetry GenAI تحدد توجيه المنظمة يجب أن يفرض على كل دعوة LLM.
  4. أتجادل إذا كان فينيكس وحده كافياً للإنتاج.
  5. هليكون 20ms استبدال التكلفة العليا في P99 TTFT 300ms، هل هذا مقبول؟ ماذا لو أن SLA هو 100ms؟

الشروط الرئيسية

TermWhat people sayWhat it actually means
OpenLLMetry"OTel for LLMs"Open-source OpenTelemetry instrumentation for LLMs
GenAI conventions"OTel attributes"Standard OTel attribute names for LLM calls
LangSmith"LangChain observability"Commercial platform bundled with LangChain ecosystem
Langfuse"OSS LangSmith"MIT OSS with similar feature set
Phoenix"Arize dev tool"OpenTelemetry-native dev/eval platform
Arize AX"scale observability"Commercial zero-copy Iceberg/Parquet observability
Helicone"proxy observability"HTTP proxy collecting LLM telemetry + gateway features
Opik"Comet LLM"Apache 2.0 OSS dev platform from Comet
Session replay"trace rerun"Replay a full agent session with tool calls
Eval"offline test"Running candidate model/prompt over labeled dataset

المزيد من القراءة

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.