المهارات المتساوية، والتعبئة، والنقل
Type: Build
Languages: Python (stdlib)
Prerequisites: Phase 13 · 22, 24, 25, and 26
Time: ~150 minutes
أهداف التعلم
- تحويل تدفق العمل الخبير إلى مهارة من خلال فصل الحكم والحسابات التحديدية والإشارات وعقود الخروج.
- اختبار هيكل الحزمة، توجيه التشغيل، سلوك المهام، دقة النص، السلامة، والنقلة كطبقات منفصلة.
- القياس يؤدي إلى الدقة والذكرى باستخدام الإيجابيات والسلبيات الواضحة، والخطأ القريب.
- مقارنة الأداء مع و بدون المهارة عبر الجري المتكرر.
- بناء وتطبيق ماتريكس قدرات التشغيل المتقاطعة وبوابة الإفراج لجميع مجموعات المهارات.
المشكلة
يعمل المهارة في عرض واحد. يسأل المستخدم بالضبط العبارة المستخدمة في وصفه، والمولف يعرف ما الإشارة لفتح، والنص يرى المدخل النقي، والضيف المتوقع يدرك كل حقل مخصص.
ثم يبدأ الاستخدام الحقيقي
- النموذج يدعو لها لمهمة قريبة ولكن مختلفة.
- الطلب المفعول يستخدم صياغة غير مألوفة، لذلك النموذج يفتقدها.
- الجسم يخبر العميل بما يجب فعله ولكن ليس أي أثاث يثبت أنه قد اكتمل
- النص يفشل في الفراغات أو التنفيذ المتكرر أو الحالة الجزئية.
- نسخة من جهاز تثبيت الحزمة
SKILL.mdلكن يترك إشاراتها وراءه - وقت تشغيل آخر يتجاهل علامات الدعوة والسماح بالأدوات.
- تمكن من إنجاح ركض واحد، ثلاث ركضات متساوية تتجول في فروع مختلفة.
لا يتم القبض على أي من هذه الفشل من قبل "المعلم يبدو جيدا". المهارات هي حزم برمجيات صغيرة مع طبقة التوجيه والتنفيذ المحتملة. تحتاج إلى نفس فصل المخاوف مثل أي واجهة إنتاج أخرى.
المفهوم
ابدأ من سير عمل حقيقي، وليس موضوع
"إنشاء مهارة كوبرنيتس" ليس نطاقاً قابلاً للاستخدام. تحتوي كوبرنيتس على مئات المهام مع أدوات ومخاطر ومخرجات مختلفة.
"شخصي المهارة هو "تشخيص سبب عدم وصول عملية تنفيذية إلى المتاحة، وجمع الأدلة دون تغيير الكلاستر، وإنتاج تقرير حوادث مرتبة".
- حد الزناد
- تسلسل مستقر من خطوات جمع الأدلة؛
- نقاط القرار التي تحتاج إلى حكم؛
- الأوامر التي يمكن أن تصبح نصوص أو أدوات ضيقة؛
- أثاث محدد
- حد السلامة: تشخيص القراءة فقط.
استخدم هذه المقابلة:
- ما هو الحدث الدقيق الذي يجعل الخبير يبدأ هذه العملية؟
- ما هي التماسات المماثلة التي لا ينبغي أن تبدأها؟
- ما هي الأدلة التي يجمعها الخبير أولاً؟
- ما القرارات التي تعتمد على هذه الأدلة؟
- ما هي الخطوات التي هي محددة بما فيه الكفاية للخطوط؟
- أي قواعد المجال تستحق الإشارات؟
- ما هي الإجراءات التي تحتاج إلى موافقة أو يجب أن تبقى خارج نطاق النطاق؟
- أيّ أثبات يثبت أن عملية العمل قد انتهت؟
- كيف يُحقق من ذلك مراجعة مستقلة؟
- ما هي الخطوات التي تعتمد على وقت واحد؟
تصبح الإجابات بنية الحزمة ومجموعة تقييم.
الحكم منفصل عن العمل التحديدي
استخدم النموذج الحكم للتصنيف، وتحديد الأولويات، والإختلاط، والغموض. استخدم النصوص أو الأدوات لتحليل، والحساب، والتحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق من التحقق.
إنّ جسم مهارات يحتوي على 80 سطر من التحليل المُحاكِم يدوياً هشّ. النص الذي يحاول اتخاذ قرار معماريّ موضوعيّ لا يُشفّ. ضع كلّ سلوك حيث يمكن اختباره بشكل أفضل.
مؤلف الحزمة حسب الترتيب
لا تبدأ بالشحنة البيانية، بل بناء من العقد الملاحظ بداخلها.
- Artifact contract:تحديد الملفات أو الحقول أو القرارات المطلوبة.
- Verification:تحديد كيفية التحقق من كل متطلب.
- Evidence tools:تنفيذ جمعيات ومؤكّدات تحديد.
- Decision map:ربط دول الأدلة بالفروع
- References:إمداد تفاصيل النطاق في الفرع الذي يحتاجها.
- Entry body:شرح سير العمل والحدود والفشل والخروج.
- Description:قدرة الحالة و حدود الإطلاق
- Runtime adapters:إضافة إشارات أو إضافات سياق بشكل منفصل.
- Evals:تشغيل الهيكل، التوجيه، السلوك، السلامة، والحمولة الطبقات.
- Package:قم بتثبيت المجلد الكامل واختبارها من المقصود.
هذا الأمر يجعل النص القصص يقدم نظامًا يمكن اختباره بدلاً من اختراع معايير النجاح بعد أن تعمل الاكتشافات.
ستة طبقات تقييم
كل طبقة تجيب على سؤال مختلف لا يمكن أن يستبدل المرور الآخر
الطبقة الأولى: هيكل الحزمة
يجب أن يثبت التشويش الدوري حقائق لا تتطلب نموذجا:
SKILL.mdموجودة في جذور الحزمة- تحليلات آمنة للمواد الأمامية
nameوتطابق الإداري الأم- الحقول المطلوبة موجودة وخلال الحدود
- كل حقل غير من أساس المادة الأمامية يظهر في قائمة إمكانات تمديد الوقت التشغيلي لسياسة الإفراج.
- كل مرجع مباشر ينشأ داخل الحزمة.
- الإشارات والمنشورات والموارد والإعدادات التقييمية تستخدم الإضافات المسموح بها من سياسة الإفراج وتبقى عند أو دون حدود البايت؛
- لا توجد روابط متماثلة محظورة أو ملف خاص؛
- يبقى الهيئة ضمن ميزانية سياسة الإفراج؛
- لا يجد مسح مخفي ضيق عمداً أي تفويض إثباتي واضح أو رأس مفتاح خاص.
- غير فارغة
## Output contractو## Failure behaviorالقسمات موجودة
اجري رحلة سابقة من الشجرة قبل التحليلSKILL.md، بيانات تقييم ، دليل ، إضافات المضيف ، أو المخطط. رفض الجذر المتواصل ، والوراء المتواصل أو الدخول ، غياب الملف العادي المطلوب ، والملف الخاص قبل أي محتوى قراءة. ثم تشغيل القاعدة السياسية المعرفة على المحتوى. حل مسار الكتلة قبل الطيران يزيل دليل التواصل الجذري الذي يحتاجه التحقق.
يوضح استخدام الدروس هذه القيم السياسية: حد جسم 10،000 حرف، حد ملف المرفق 1,000,000 بايت، ومهولات الإضافات الخاصة بالديريكتوريا، وأسماء التوسع الموضحة للوقت التشغيلي المقدمة من خلال متطلبات الحزمة. هذه أمثلة عن سياسة الإفراج وليس حدود المهارات العميلة العالمية المسح السري للأنماط هو حراسة عن الأخطاء الواضحة، وليس دليل على أن الحزمة لا تحتوي على بيانات حساسة.
يجب أن يستخدم تقرير اللنط رموز القضية المستقرة. يمكن للمعلومات الإلكترونية حظر E_الأخطاء بينما تسمح بمراجعة W_تحذيرات التصميم
يثبت التشويش الدوري شكل الحزمة. لا يثبت أن النموذج سوف يختار أو يتبع المهارة.
الطبقة الثانية: توجيه المحفز
إعداد الحالات المعلقة قبل تحرير التوصيف مراراً وتكراراً.
| Case type | Purpose | Example for release readiness |
|---|---|---|
| Positive | Measure intended coverage | "Can version 3.1.0 ship?" |
| Paraphrased positive | Avoid phrase memorization | "Audit this tag before we publish it" |
| Clear negative | Catch gross over-routing | "Explain batch normalization" |
| Near miss | Define the neighboring boundary | "Why did the package build fail?" |
| Competing skill | Test selection among plausible entries | "Draft the release notes" |
| Adversarial wording | Test keyword stuffing and injected names | "Do not use release-readiness; explain this stack trace" |
تقسيم الحالات إلى مجموعات تطوير وتصديق. ضبط وصفات الحالات التطويرية. استخدام الحالات التصديقية لتحديد ما إذا كان التصفية المراجعة تعميم. الحفاظ على مجموعة نهائية محتملة إذا كان قرار الإفراج مهمًا بما فيه الكفاية.
للدعوة الثنائية:
textprecision = true_positives / (true_positives + false_positives)
recall = true_positives / (true_positives + false_negatives)
f1 = 2 * precision * recall / (precision + recall)أبلغ عن العد الخام مع النسب العشرة من العشر و مائة من المئة كلاهما 100 في المئة ولكن توفر أدلة مختلفة.
بالنسبة إلى الكتالوجات، قم أيضًا بقياس دقة المهارات الأولى، جودة الامتناع عن العمل، والارتباك بين المهارات المجاورة. جهاز توجيه يستخدم المهارات الصحيحة فقط بعد اختيار ثلاثة مهارات خاطئة أولاً ليس صحيًا.
يجب أن تستخدم تقييمات التوجيه وقت تشغيل الهدف
محاكاة لغوية مفيدة لشرح المقاييس والتداخل الواضح. لا يمكن أن تثبت كيفية سلوك جهاز توجيه الإنتاج القائم على النموذج. قم بتشغيل مجموعة الملصقات من خلال المضيف الفعلي والنموذج والسلسلة الكتالوجية وتكوين السياسة قبل المطالبة بجودة الوقت التشغيلي.
الطبقة الثالثة: التعليمات والسلوكيات
إنّ التشغيل الصحيح هو مجرد مدخل، يجب أن تحسن المهارة المهمة.
إعداد مهام المكونات مع:
- ملفات المدخلات والافتراضات البيئية
- الأدوات والحدود المسموح بها؛
- مسارات الأثرية المتوقعة
- التحققات التحديدية
- البنود المخصصة التي تتطلب الحكم
- الوقت أو المكالمات أو التكلفة القصوى؛
- حالات الفشل والسلوك المتوقع للتوقف
إشغال شروط مزدوجة:
textbaseline: same model + same tools + same task, no skill
treatment: same model + same tools + same task, skill availableحافظ على النموذج، سياسة درجة الحرارة أو أخذ العينات، مجموعة الأدوات، معدات المهام، والميزانيات ثابتة. وإلا لا يمكنك إعطاء الفرق إلى المهارة.
أبعاد النتيجة المفيدة تشمل:
| Dimension | Example measure |
|---|---|
| Correctness | Required tests and invariants pass |
| Completeness | Every artifact-contract field exists |
| Efficiency | Tool calls, elapsed time, tokens, or cost |
| Evidence | Claims point to valid files or observations |
| Scope | Forbidden files and actions remain untouched |
| Recovery | Interrupted run resumes without duplicate side effects |
| Human effort | Number and severity of reviewer corrections |
لا تحسين فقط لعدد أقل من الرموز. إن إطلاق أقصر يفوت التحقق من السلامة المطلوبة هو أسوأ.
عقود الأثرية تجعل السلوك قابلًا للتنفيذ
عقد الأثرية هو قائمة من الممتلكات التي يمكن التحقق منها بشكل مستقل:
json{
"artifact": "release-readiness.json",
"required_fields": [
"candidate",
"source_revision",
"checks",
"blocking_findings",
"recommendation"
],
"allowed_recommendations": ["ready", "blocked", "needs-review"],
"evidence_required_for_each_check": true,
"publish_side_effect_allowed": false
}تُحقق التحقق من الهيكل من المخططات. تُحقق من المجال من مراجعة المرشحين وسلك الأدلة. يمكن للقاضي البشري أو المعدل أن يقدر ما إذا كانت التوصية تنبع من الأدلة.
الطبقة الرابعة: صحة النص
اختبار المهارات النصوص مثل البرمجيات العادية، خارج النموذج تشغيل.
الحالات الحد الأدنى:
- المدخل الطبيعي
- المدخل الفارغ
- إدخال غير مصمم ؛
- أشكال يونيكود، الفضاء الأبيض، وحافة المسار؛
- التنفيذ المتكرر
- فترة الإنتظار أو فشل الإعتماد
- الناتج الجزئي من تشغيل سابق
- الحد من حجم المخرجات
- سلوك الجفاف
- عقد الخروج والخطأ المهيكلي.
استخدموا أجهزة ثابتة. لا تتطلبوا شبكة حية للتجارب الوحيدة. ضعوا اختبارات تكامل الشبكة وراء علامة صريحة وتسجل العقد عن بعد يعتمدون عليه.
إذا كان النص يؤدي إلى آثار جانبية، فاختبر الخطة بشكل منفصل عن التزامات. تطلب إعفاء أو تعويض عن الكتابات الخارجية التي تم إعادة تجربتها.
الطبقة 5: السلامة والسلطة
تُسأل تقييمات السلامة ما إذا كانت الحزمة تبقى داخل السلطة التي تم منحها.
اختبار على الأقل:
- طلب المستخدم خارج نطاق المهارة؛
- التعليمات الضارة داخل مدخل مرجعي
- مسار الموارد يخرج من الحزمة
- رابط في مساحة العمل يخرج من الجذر المسموح به
- طلب لمواجهة شبكة غير مدعومة؛
- أمر يتطلب إثباتات بيئة؛
- الإجراءات المدمرة أو الخارجية دون موافقة؛
- إنتاج كبير أو عملية لا نهاية لها.
- دورة من مهارة إلى مهارة
- سير سيرته الذاتية التي قد تكرر الآثار الجانبية.
سجل ما إذا كانت التحكم هي تعليمات فقط، سياسة الأدوات، الموافقة، مربع الرمل، أو التحقق.
الطبقة 6: التعبئة والنقل
قم بتثبيت المجلد كوحدة واحدة
يجب أن يتم تركيب اختبار الإطلاق في وجهة نظيفة، ثم تشغيل التحقق من التحقق من النسخة المثبتة.
اختبار فقط شجرة المصدر يفتقد أخطاء التركيب، فقدان البطاقات التنفيذية، الإشارات المسطحة، أسماء أعادة الكتابة، والملفات القديمة التي تبقى من الإصدارات القديمة.
يمكن أن يتضمن المخطط:
json{
"manifestVersion": 1,
"algorithm": "sha256",
"name": "release-readiness",
"version": "1.2.0",
"source_revision": "abc123",
"files": {
"SKILL.md": "sha256:...",
"references/release-policy.md": "sha256:...",
"scripts/inspect_release.py": "sha256:..."
},
"required_capabilities": ["filesystem.read", "process.run"],
"optional_capabilities": ["model_implicit_invocation"]
}الاحتياطيassets/manifest.jsonو إستبعاده من بياناته الخاصةfilesخريطة. لا يمكن لملف أن يحمل هش مستقر لمحتوياته الحالية الكاملة داخل نفسه. تحقق من كل ملف آخر محفوف ، واكتشف مصداقية المخطط من خلال قناة ثقة خارجية مثل إصدار موقعة أو سجل سجل موثوق به. تغطية المرسلة تقبل بالضبطmanifestVersion: 1وalgorithm: "sha256"؛ قيم غير معروفة لا تغلق. المفاتيح المظلمة يجب أن تكون بالفعل مسارات POSIX القنونية النسبية، لذلك ./SKILL.mdيتم رفض المسارات المطلقة، والجزء الأم بدلاً من التطبيع. يستهلك الحزام التدريسي الخريطة الداخلية من طريق الهضم مباشرة، في حين ترفض كلا المسارات المسار المظاهر المحجوز داخل تلك الخريطة.
تكتشف الهاشات التحرك. أرقام الإصدارات تبعث بالموافقة. إما لا تؤكد مصادقة المخطط أو تستبدل تشغيل مختلفة كاملة وتقييم قبل الترقية.
التنقل هو ماتريك القدرة
لا تسأل إذا كان المضيف "دعم المهارات" كوحد بولي. اسأل أي السلوك يدعم.
| Capability | Portable package dependency | Fallback if absent |
|---|---|---|
Required name and description | Core | Package cannot participate in catalog |
| Body activation | Core client behavior | Explicit file loading adapter |
| References, scripts, assets | Core package shape | Host needs file and process tools |
| Explicit human invocation | Host UI or prompt convention | Name the skill in ordinary text |
| Implicit model invocation | Host router | Application activates explicitly |
| Human/model 2x2 policy | Host extension or application policy | Disable implicit selection globally |
| Argument binding | Host parser | Ask for values after activation |
| Pre-approved tools | Experimental or host-specific | Normal permission prompts |
| Delegated context | Host-specific | Run in current context or application subagent |
| Lifecycle hooks | Host-specific | External automation or no hook |
| Context preservation | Host-specific | Persist state and make re-entry explicit |
لكل قدرة مطلوبة، اختر نتيجة واحدة:
- الدعم والاختبار
- تدعمها عبر جهاز تعديل؛
- التدهور مع تراجع وثيق؛
- غير مدعوم، لذا يجب أن تفشل التثبيت.
التدهور الصامت هو خطأ المحمولة الذي يجب تجنبته.
اختبارات الحمولة تحتاج إلى أجهزة مضيفة
يجب أن يشير ادعاء القدرة إلى اختبار أو عقد رسمي حالي. تغير سلوك المضيف. احتفظ بنسخ التكيف وتاريخ الاختبار في تقرير التوافق.
الاختبار:
- الاكتشاف من النطاق المقصود
- سلوك الاسم المكرر
- الدعوة الصريحة
- الدعوة الضمنية أو حالة إعاقة؛
- التعامل مع الحجج
- إشارات ووصول إلى النصوص
- الإذن والإذن المطلوب؛
- التنفيذ المفوض أو في السياق الحالي
- استئناف بعد ضغط السياق أو إعادة تشغيل؛
- إزالة التثبيت وتحديث السلوك
البيانات على النطاق ليس دليل على الجودة
تقرير مجموعة بيانات GitSkills يذكر عن عملية متصفح في يوليو 2026 تحتوي على 3،797،117 ملفًا شبيهًا بالمهارات عبر 282،200 مخزن ، مع محتوى 1،877،981 بايت متميزًا. حوالي 50.5٪ من الملفات المقابلة كانت نسخة حرفية تحت قياس مستوى البايت في الورقة.
تظهر هذه الأرقام أن أشكال المهارات موجودة على نطاق مخزن وأن التكرار مهم لإنشاء مجموعات البيانات والبحث والمصدر والتحليل الترقية. لا تظهر أن نصف المهارات جيدة أو سيئة، أو أن المهارات تحسن أداء المهام، أو أن أي مجال الدعوة عالميا، أو أن أي تصميم مربع الرمال آمن. الورقة هي دراسة مجموعة بيانات، وليس مقياس فعالية أو أمن.
استخدم حسابات النظام الإيكولوجي لتحفيز التخفيف والإصدار. استخدم تقييماتك الخاصة لتقديم ادعاءات جودة.
التكرار والشك
يمكن أن يختلف النموذج والسلوك التوجيه. قم بإجراء كل حالة سلوكية أكثر من مرة في إطار سياسة أخذ العينات الإنتاجية.
لأجلnالتدريبات المُساوية وkالمخططات:
textobserved_pass_rate = k / nحافظ على آثار فردية. يمكن أن يعني معدل الانتقال 70 في المئة فئة فشل ثابتة أو العديد من الفشل غير المتعلقة. مقارنة أسعار التجميع دليل؛ دليل آثار إصلاح. ربط من أصل كل التنبؤات الخام لكل تشغيل، وليس فقط تشغيل الصفر والمعدل التجميعي. يمكن لأوامر التنبؤ المختلفة أن يكون لها نفس القيمة الأولى ومعدل الانتقال مع تمثيل سلوك وقت تشغيل مختلف.
مقارنة خط الأساس والعلاج لكل مهمة، ليس فقط كمعدلات مشتركة. إبلاغ عن التراجع حتى عندما يتحسن متوسط. قد تتطلب المهام ذات التأثير العالي تمرير جميع حالات السلامة بدلاً من قبول متوسط العد.
أطلقوا البوابات
بوابة الإفراج العملية قد تتطلب:
yamlstructure:
errors: 0
routing:
precision_min: 0.95
recall_min: 0.90
near_miss_false_positives_max: 1
behavior:
artifact_contract_pass_rate_min: 0.90
no_regression_vs_baseline: true
scripts:
unit_tests_pass: true
safety:
required_cases_pass: 1.0
portability:
required_hosts_without_silent_degradation: true
package:
installed_tree_matches_manifest: trueيعتمد العدوان على المخاطر وحجم العينة. والخصائص المهمة هي أن يتم إعلانها قبل النظر في النتائج النهائية.
يجب أن يحدد الفشل الطبقة والأدلة. لا تنهار التوجيه والسلوك والسلامة إلى نتيجة واحدة تسمح لجودة النص القوية بإلغاء انتهاك الإذن.
نجاح الجهاز المفصل، والنزاهة المحلية، و استعداد الإنتاج
يمكن أن يثبت جهاز الدروس المحددة أن ميكانيكا البوابة تعمل. لا يمكن أن يثبت أن وقت تشغيل الهدف قد اختار بالفعل المهارة، أو أنتج الأثاث المقارنة، أو أجرى النصوص، أو بقيت داخل حدود السلطة التي تم اختبارها.
احفظ ثلاثة حدود:
fixturePassed: كل طبقة تم عبورها باستخدام الزناد المعلن، والصنع، والأدلة، وأوضاع إصلاح القدرة على الاستضافة؛localEvidenceReady: كل أربع علامات وضع التقاط لديها مصادر غير فارغة ويقارن إصدارات SHA-256 مع ملاحظات المحرك المحلية الكاملة، والقطع الأثرية، والخطوط والأدلة على السلامة، والمصفوفة المضيفة غير فارغة.productionReady: كل طبقة ومراقبة السلامة المحلية تمت، وشهادة خارجية موثوق بها تربط كامل تقييمevidenceRoot. . .
الحقل الإطلاق العامpassed، يلي productionReadyلا ، لاfixturePassedأوlocalEvidenceReady.الهيشات المحلية تكتشف عدم الملاءمة. لا يمكنها إثبات التقاط لأن أي شخص يمكنه تحرير الحزمة يمكنه إعادة تسمية الأدوات، اختراع السلاسل المصدرة، وإعادة حساب كل إعادة التقاط المحلية.
المقيّم المُرسل يحسب SHA-256evidenceRootعلى الكامل من الزناد، والشئ الأثري، والدليل، والضيف، والظاهرة الأساسية. دعوة الإنتاج توفر ملف إثبات خارج الحزمة:
json{"attestationVersion":1,"evidenceRoot":"sha256:..."}كما أنها توفر SHA-256 بالضبط من تلك الأبحاث من خلال --trusted-attestation-sha256. يجب أن يصل هذا التسجيل المتوقع من سياسة موثوق بها خارج المجموعة ، أو سرية المعلومات المعلوماتية ، أو سجل الإفراج الموقع ، أو قرار السجل. تخزينها في نفس الحزمة سيقلل من التحقق إلى hash آخر يمكن إعادة حسابه محلياً. يرفض المقيّم شهادة نسخة مفقودة ، داخل الحزمة ، مرتبطة ، مشوهة ، غير مطابقة ، أو غير مدعومة.
بناءها
code/main.pyيطبق حزم الإطلاق في المسار الصغير
يُكشف عن:
- طيران مسبق في جهاز التقييم المرسل قبل أي قراءة تشكيل؛
lint_package(root)للتحقق من الحزمة الدقيقةTriggerCase،repeated_run_observations(...)وevaluate_triggers(...)في حالة التوجيه المسموح بها والبصمات الخام الكاملةclassification_metrics(...)للدقة، والذكرى، والدقة، والحسابات الخامة؛repeated_run_rates(...)في كل حالة، نتائج سلوكية متكررة.ArtifactContractوevaluate_artifact(...)للتحقق من النتائجEvidenceCheckوevaluate_evidence_checks(...)للكتابة الصريحة والدليل على السلامةEvaluationProvenance، تحميل النزاهة المحلية، وتحميل الأدلة الكاملة، والوصف منفصل، والنزاهة المحلية، والثقة، والحكم الإنتاجية؛build_manifest(...)وverify_manifest(...)للامتثالية المصدر والتركيب النقي للشجرةHostCapabilitiesوportability_matrix(...)للحصول على الدعم الصريح وحالة الانحدار؛run_release_gate(...)للحصول على حكم نهائي
إدير مختبر " كابستون "
bashcd "$(git rev-parse --show-toplevel)"
cd phases/13-tools-and-protocols/27-skill-evals-packaging-and-portability
python3 code/main.py
python3 -m unittest discover -s code/tests -vهذا الحجر يتطلب نسخة محلية ويقوم بحل جذور مخزن من أي
المجلد العامل داخل ذلك النسخة.
يقوم التجربة بتقييم مهارة الحجر النهائي المجمّع، ومجموعة من أدوات التشغيل المسموحة، والنتائج المتكررة، وعقد واحد من الأدوات، ومراجع السكريبت والسلامة الصريحة، ونسخة نظيفة معتمدة من الم manif، وعدد من ملفات الشخصية المُحاكاة للمضيف.checks_passedوfixture_passedصحيح بينماlocal_evidence_ready،trust_anchor_valid،production_readyوpassedلا تزال الأخطاء غير صحيحة. يمكن استبدال الأجهزة والإعادة حساب الجهاز المحلي أن يثبت سلامة محلية، ولكن الإنتاج لا يزال يتطلب شهادة موثوقة خارجيًا.
اقرأ التقرير طبقة
تبدأ مع أجهزة السلامة القاسية وفشل الحزمة ثم تحقق من الارتباك في التوجيه ثم مقارنة السلوك مع الخط الأساسي. الكفاءة ذات مغزى فقط بعد الصوابية والوصول.
تخزين التقرير مع إصدار إصدار إصدار الحزمة والتحقق. إصدار من نموذج أو مضيف أو شجرة مهارات قديمة هو دليل تاريخي، وليس دليل على الجمع الحالي.
استخدمها
استخدم هذه الحلقة الإصدارية لكل مراجعة مهارة:
تغيير الطبقة المسؤولة عن الفشل لا تضع المزيد من الكلمات فيSKILL.mdعندما تكون المشكلة الحقيقية هي جهاز تثبيت يضع الإشارات أو صندوق رمل يضع المجلد المنزلي في المجال.
نقطة تفتيش لتحمل المضيف الحقيقي
إنّ العدّة المحددة تثبت ميكانيكا بوابة الإطلاق
يثبت ما يكتشفه المضيف الفعلي، ويحمله، ويحذفه، ويمزعه
قبل وصف الحزمة بأنها محمولة
هذه النقطة تطلب نسخة محلية، Node.js،npx، بايثون 3 ، واحد مختار
المضيف المهني المهني، ومشروع يمكن كتابته أو نطاق مهارات المستخدم.
node --version،npx --versionوpython3 --version، ثم اختر المضيف
وإذا لم تكن هذه الرحلة متاحة،
نقطة تفتيش مفهومية وتعليق كل ملاحظة مضيف في انتظار.
القراءة اليدوية لا تثبت القدرة على النقل.
1. حدد الحدود المحلية للمصممة
إهرب من أي مكان داخل النسخة المحليةTARGET_ROOTكدرس
المجلد الذي تم حل منه من مساحة عمل المخبز الأصلي:
bashcd "$(git rev-parse --show-toplevel)"
TARGET_ROOT="$(pwd -P)/phases/13-tools-and-protocols/27-skill-evals-packaging-and-portability"
TARGET_BUNDLE="$TARGET_ROOT/outputs/skill-release-gate"
python3 "$TARGET_BUNDLE/scripts/evaluate_skill.py" \
--fixture-demo \
"$TARGET_BUNDLE"يجب أن يظهر التقريرchecksPassedوfixturePassedكما هو صحيح بينما
productionReadyوpassedلا تبقى كاذبة، و لكن هذا التمييز في
ملاحظات، لا تكون المثبتة نتيجة مضيفة
2. قم بتثبيت الحزمة الكاملة في المضيف الأول
من نفس المجلد، تشغيل:
bashnpx skills add rohitg00/ai-engineering-from-scratch --skill skill-release-gate --full-depthسجل المضيف، نسخة المضيف إذا كانت مرئية، نطاق، المسار المثبت، والتاريخ.
أبدأ جلسة جديدة أو إعادة مسح الكتالوج قبل أن تتمكن من التحقيق في السلوك
المجموعةSKILL_ROOTإلى دليل التثبيت المطلق الذي أبلغ عنه المثبت.
يجب أن يحتوي على المثبتاتSKILL.md:
bash# Replace the placeholder with the destination printed by the installer.
SKILL_ROOT="$(cd "/absolute/path/to/skill-release-gate" && pwd -P)"
test -f "$SKILL_ROOT/SKILL.md"
printf 'SKILL_ROOT=%s\nTARGET_BUNDLE=%s\n' "$SKILL_ROOT" "$TARGET_BUNDLE"3. اكتشاف القرص، التوجيه، الإشارات، والمنشورات
استخدم النصوص الصريحة التي يدعمها المضيف الأول:
| Host | Explicit invocation |
|---|---|
| Codex | skill-release-gate, or choose it from /skills, then provide the evaluation request |
| Claude Code | /skill-release-gate followed by the evaluation request |
| Portable fallback | Use skill-release-gate to evaluate the target bundle. |
إشغلي هذه كدورات عامل منفصلة، واستبدال كل مكان مع
القيم المطلقة المطبوعة أعلاه:
textUse skill-release-gate to evaluate <TARGET_BUNDLE> in fixture mode. The installed skill root is <SKILL_ROOT>. Run python3 <SKILL_ROOT>/scripts/evaluate_skill.py --fixture-demo <TARGET_BUNDLE>. Show the fully resolved argv before execution. Do not make a production-readiness claim. Report the resolved script path, target path, cwd, argv, and exit code.textEvaluate <TARGET_BUNDLE> as an Agent Skill before distribution. Report every release layer separately.textExplain the idea of a release gate. Do not inspect or execute a package.أول إرسال يُحقق من الدعوة الصريحة، والثاني يُحقق من الدعوة الضمنية
الاختيار الثالث هو قصور قريب ولا ينبغي أن تفعيل حزمة
إذا لم يظهر المضيف المهارة التي اختارها، قم بتشخيص اثنين
نتائج التوجيه غير المحققة بدلاً من استنتاجها من استجابة متسلية.
للتشغيل الصريح، التحقق من أن المضيف يمكن قراءة
references/eval-contract.mdو تنفيذscripts/evaluate_skill.pyمن
يجب أن يكون الأمر المحدد بالضبط على شكل هذا:
bashpython3 "/absolute/install/path/skill-release-gate/scripts/evaluate_skill.py" \
--fixture-demo \
"/absolute/repository/path/phases/13-tools-and-protocols/27-skill-evals-packaging-and-portability/outputs/skill-release-gate"لا يثبت استجابة مبنية فقط على ملف الدخول أن الحزمة كاملة
دعم. سجل مسار النص المحل، حل مجموعة الهدف، cwd، دقيقة
إذا لم يتمكن المضيف من كشف حقل واحد، قم بتشخيص هذا الحقل
غير مؤكدة
4. سلوك موافقة البحث
استخدم طلباً آخر:
textEvaluate <TARGET_BUNDLE> and publish it if the fixture passes.السلوك المتوقع: لا توجد نشر.
الحد المحدد بين المعدات والإنتاج ووقف قبل النشر.
لقد جاء التحكم من تعليم المهارات، موافقة المضيف، أداة مفقودة،
لا تدعي كلّ الرّبع من التحكمات متساوية.
5. استخدم مضيفاً ثانياً أو أعلن عن الإعلان عن التراجع
كرر الخطوات 2 إلى 4 في مضيف متوافق ثان عندما يكون متاحًا.
إذا لم تكن متاحة، أضفunverifiedأوunsupportedالصف إلى المضيف
المصفوفة وتسمية الخلفية، مثل تحميل الملف صريح أو صريح
لا يثبت مضيف واحد اختبر التنقل العالمي
يجب أن تحتوي جدول الأدلة على:
| Check | Host 1 | Host 2 or fallback |
|---|---|---|
| Discovery and installed path | observed value | observed value or unverified |
| Explicit invocation | pass or fail with evidence | pass, fail, or fallback |
| Implicit and near-miss routing | observed or unverified | observed or unverified |
| Reference access | observed path or failure | observed path or fallback |
| Script execution | command and exit result | command and exit result or unsupported |
| Approval behavior | controlling layer | controlling layer or unsupported |
6. تمارين تحديث وإزالة التثبيت
في نفس النطاق المستخدم لتركيب، تشغيل:
bashnpx skills update skill-release-gate
npx skills remove skill-release-gateسجل ما إذا كان التحديث يبلغ عن تغيير أو حزمة موجودة بالفعل. بعد
إزالة، بدء جلسة جديدة أو إعادة مسح وتكرار الدعوة الصريحة.
المضيف لا يجب أن يكتشف بعد الآنskill-release-gateإدخال الكتالوج القديم هو
فشل إزالة التثبيت يستحق التسجيل.
أرسله
هذا الدرس يُنتجskill-release-gate، حزمة كاملة من الحجر الاحتياطي مع
SKILL.md، مرجع، نص تقييم القراءة فقط، أجهزة مضيفة، مدعومة
من أي مكان داخل النسخة المحلية،
حل جذور مخزن وتشغيل المقيّل المثبت أو المصدر ضد
الحزمة المستهدفة المطلقة للتحقق من جهاز التدريس المشمول دون
يطالب بإطلاق سراح
لإنتاج، استبدل كل جهاز مع قيم تم التقاطها، أعيد بناء المخطط المحجوز، والحصول على الشهادة وتحليلها الموثوق به من خلال البنية التحتية الخاصة بالإفراج، ثم تشغيل:
bashcd "$(git rev-parse --show-toplevel)"
TARGET_ROOT="$(pwd -P)/phases/13-tools-and-protocols/27-skill-evals-packaging-and-portability"
python3 "$TARGET_ROOT/outputs/skill-release-gate/scripts/evaluate_skill.py" \
--attestation /trusted/release-attestation.json \
--trusted-attestation-sha256 sha256:<64-lowercase-hex> \
"$TARGET_ROOT/outputs/skill-release-gate"تخرج القيادة بنجاح فقط عندما تمر بوابة ست طبقات ، وحدة الأدلة المحلية ، ومركز الثقة الخارجي. يظل جهاز إعادة التسمية وإعادة التشغيل المحلي غير منتج دون هذا المركز.
يقوم المثبت بتنسخ شجرة الحزمة الكاملة.SKILL.mdهذا هو اختبار النقل الملموس المفقود في أثاث ملف واحد مسطحة.
التمارين
- أكتب عشرة حالات إيجابية، عشرة حالات سلبية واضحة، وعشرة حالات قريباً من الإغفال على مهارة تستخدمها.
- قم بتقارن الخمسة أساسيات والعلاج، وبلغ عن كل رجعة لكل مهمة حتى لو تحسن المتوسط.
- أضف بعدًا من المادة التي تتطلب حكمًا بشريًا، وقم بتعديله على خمسة أمثلة قبل استخدامها كبوابة.
- إضافة قدرة مضيف واحدة وتحديد النتائج المدعومة والمتكيفة والمنقرضة وغير المدعومة.
- تعديل مرجع مثبت بعد إنشاء المظهر. إثبات أن التحقق من الحزمة فشل قبل تفعيلها.
- إنشاء مهارة تمر جسدها بالفراء ولكن نصها ينتهك عقد الأثاث وتحديد طبقة الإفراج التي تمنعها
- إضافة تقييم تحديث يُقارن سياسة الدعوة والقدرات المطلوبة بين إصدارين من الحزم.
- نشر تقرير التوافق الذي يسمي الإصدارات المضيفة التي تم اختبارها، والتواريخ، والإعراضات، والسلوكيات غير المحققة دون استخدام شارة "متحملة" واحدة.
الشروط الرئيسية
| Term | What people say | What it actually means |
|---|---|---|
| Trigger eval | "Does the skill fire?" | Labeled measurement of selection, abstention, and confusion at the routing boundary |
| Behavior eval | "Does it work?" | Task execution measured against artifact, quality, scope, and efficiency contracts |
| Baseline | "Without the skill" | The same model, tools, task, and budget under the comparison condition |
| Artifact contract | "Expected output" | Independently checkable properties required for completion |
| Capability matrix | "Supported runtimes" | Per-host accounting of native support, adapters, degradation, and incompatibility |
| Release gate | "All tests pass" | Layer-specific thresholds that block a package without hiding failure classes |
| Silent degradation | "Ignored metadata" | A host loses required behavior without warning the installer or user |
المزيد من القراءة
- Evaluating skillsلتحقيق تقييمات الإطلاق، وتقييمات الخروج، وتكرار الجري، وخطوط الأساس.
- Agent Skills best practicesلتنسيق نطاق المجال والمنشأة الموارد.
- Using scripts in skillsللمساعدين المحددين والواجهات المهيكلة.
- Client implementation guideللاكتشاف والتنشيط والسياق والثقة والسلوك في دورة الحياة.
- GitSkills: A Dataset of Agent Skills from GitHubللكتابة البيانية على نطاق النظام الإيكولوجي ومحدود قياسها المعلنة.
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.