Phase 14: Agent Engineering

تصميم مقاييس النجاح قبل وجود النتيجة

يجب أن يُجيب القرار عن القياس وليس عن تزيين لوحة التحكم. ابدأ بالهدف، استنتاج الأسئلة، ثم اختر أصغر المقاييس التي تجيب عليها.

Type: Learn + Build

Languages: Python (stdlib)

Prerequisites: Phase 14 lessons 47 and 51

Time: ~70 minutes

أهداف التعلم

استنتاج الأسئلة والمقاييس من هدف النتيجة.
تحديد العدوان، النوافذ، المصادر، والاتجاهات قبل مراقبة النتائج.
إزواج مقاييس النتيجة مع الحواجز والمقاييس المضادة.
تتناسب الدليل التقييم مع القرار الذي يجب أن يدعمه البناء.

الهدف، السؤال، المقياس

ابدأ بأهداف:

تقليل الوقت لتحديد الخدمة المتضررة دون زيادة الإجراءات غير الآمنة.

أسئلة مشتقة:

ما هو سرعة تحديد الخدمة الصحيحة؟
كم مرة تكون الخدمة المحددة صحيحة؟
هل التشخيص يبقى قراءة فقط؟
هل تدفق العمل يزيد من إبعاد التحذير أو عبء العمل للمشغل؟

ثم اختر المقاييس التي تعمل على هذه الأسئلة.

flowchart LR
  G[Goal] --> Q1[Question about outcome]
  G --> Q2[Question about risk]
  Q1 --> M1[Outcome metric]
  Q2 --> M2[Guardrail metric]
  M1 --> D[Decision rule]
  M2 --> D

الميترات تحتاج إلى عقد

كل متريك يحتاج:

Field	Example
Name	`median_identification_seconds`
Direction	at most
Threshold	120
Window	ten incident replays
Source	replay event log
Population	on-call engineers in the pilot
Kind	outcome or guardrail

بدون المصدر والنوافذ، لا يمكن إعادة إنتاج رقم.

النتيجة، الحراسة، والعكس الميتر

Outcome metric:هل تحسنت الحالة المطلوبة؟
Guardrail:هل كان هناك قيود ثابتة ما زال صحيحاً؟
Counter-metric:هل تكلفة التحسين المحلي أو ضرر في مكان آخر؟

لمجرد وقوع حادث، السرعة ليست كافية. الدقة، وتسجيلات الإنتاج، وحمل العمل المدير، والإشعارات المفقودة تحمي من نتيجة سريعة ولكن غير آمنة.

الأدلة غير المتاحة والإلكترونية

التشغيل غير التواصل المباشر مفيد للتكرار والتغطية الحافة. الطيار المحدود مفيد للتأثيرات الحقيقية على السلوك والثقة وتدفق العمل. لا يوجد بديل عن الآخر.

استخدم الأدلة الأرخص التي يمكن أن تجيب على القرار الحالي. لا تعرض المستخدمين الحقيقيين فقط لأن التنفيذ جاهز.

قرر قبل أن تقيس

اكتب المخططات والفشل والمسارات الغامضة قبل رؤية النتائج وإلا سيتحرك الفريق العتبة لحماية البناء

مثال:

الممر: معدل الخدمة الصحيحة لا يقل عن 0.9 و متوسط الوقت لا يقل عن 120 ثانية.
فشل: أي سجل إصدار أو تصحيح أقل من 0.75
غامض: تحسين صغير مع اختلاف واسع، يتطلب مجموعة إعادة تشغيل أكبر.

بناءها

يقوم المختبر بتصديق خطة قياس وتقييم العدوان الشاملة، وتسجيل القيم المفقودة، ويكتب outputs/measurement-report.json. . .

bashpython3 code/main.py
python3 -m unittest discover code/tests -v

إزالة مقياس الحراسة وملاحظة لماذا تصبح الخطة غير صالحة حتى عندما تبقى مقياس النتيجة.

التمارين

استنتاج ثلاث أسئلة من هدف واحد
أضف مقياسًا مضادًا يلتقط التكلفة المتحولة إلى دور آخر.
حدد المصدر والسكان والنوافذ لكل متري
اكتب القرارات المُجازية والفاشلة والمتضاربة قبل أن تولد القيم.
حدد مقياس واحد سهل التجميع لكنه لا يستطيع تغيير القرار.

ما تحافظ عليه

إبقoutputs/measurement-report.json. يحدد بوابة الأدلة للمشهد الأول أو الطيار أو مرحلة الإنتاج.

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.