एआई नियंत्रण उत्थान के बावजूद सुरक्षा
Type: Learn
Languages: Python (stdlib, safety-vs-usefulness frontier on code-backdoor task)
Prerequisites: Phase 18 · 07 (sleeper agents), Phase 18 · 08 (scheming), Phase 18 · 09 (alignment faking)
Time: ~75 minutes
सीखने के लक्ष्य
- एआई नियंत्रण खतरे मॉडल को परिभाषित करेंः अविश्वसनीय मजबूत मॉडल यू, विश्वसनीय कमजोर मॉडल टी, विश्वसनीय मानव बजट एच।
- विश्वसनीय संपादन प्रोटोकॉल का वर्णन करें और यह क्यों ICML 2024 कोड-बैकडोर कार्य पर अविश्वसनीय निगरानी पर परवाह करता है।
- संरेखण (यू विश्वसनीय है) और नियंत्रण (यू विश्वसनीय नहीं है और हम वैसे भी सुरक्षित हैं) के बीच अंतर समझाएं।
- नियंत्रण की तीन सीमाएँ बताएँः मनुष्य पैमाने पर नहीं बढ़ते, विश्वसनीय कमजोर मॉडल अंततः पीछे रह जाते हैं, नियंत्रण विश्वसनीय मजबूत मॉडल नहीं पैदा करता है।
समस्या
पाठ 7-9 में यह स्पष्ट किया गया है कि सीमा मॉडल को धोखाधड़ी, योजनाबद्धता या नकली संरेखण के रूप में देखा जा सकता है। सुरक्षा प्रश्न को फिर से ढांचाः क्या हम एक मॉडल से उपयोगी काम निकाल सकते हैं जिस पर हम भरोसा नहीं करते हैं, बिना उसे अस्वीकार्य परिणाम देने का अवसर दिए? यह नियंत्रण समस्या है, और यह क्लासिक सुरक्षा की तरह संरचित हैः सबसे खराब स्थिति में विरोधी का अनुमान लगाएं, प्रोटोकॉल डिजाइन करें, लाल टीम के दबाव में विरोधी की सफलता दर को मापें।
अवधारणा
खतरे का मॉडल
नियंत्रण का मानदंडः
- U अविश्वसनीय मजबूत मॉडल। सक्षम। संभवतः प्रतिकूल (मूल्यांकन इसे ऐसा मानता है) ।
- कम सक्षम, लेकिन विरोधी नहीं होने के लिए जाना जाता है।
- भरोसेमंद मानव श्रम। बजट छोटा; पैमाने पर नहीं।
सिस्टम को यू का उपयोग करके उपयोगी आउटपुट का उत्पादन करना चाहिए। विरोधी उपयोगिता सीमाओं को पार करने के लिए वैध उपयोगी कार्य का एक अंश बनाए रखते हुए एक ठोस अस्वीकार्य परिणाम (जैसे, शिप कोड में एक बैकडोर) का कारण बनने की कोशिश करता है।
नियंत्रण यू पर भरोसा करने से इनकार करता है। यह पूछता है कि यू की कमी के दौरान सुरक्षा को बनाए रखने वाले प्रोटोकॉल क्या हैं।
आईसीएमएल 2024 बैकडोर कार्य
प्रॉम्प्ट्स प्रतियोगिता स्तर के कोडिंग समस्याएं हैं। U एक उम्मीदवार समाधान का उत्पादन करता है। एक छिपा हुआ ओरेकल फ्लैग्स यदि समाधान में एक बैकडोर होता है (एक विशिष्ट इनपुट जो कोड को गलत आउटपुट का उत्पादन करता है) । रेड टीम यू को नियंत्रित करती है और सभी प्रोटोकॉल आंतरिक देखने की अनुमति है। प्रोटोकॉल को एक सीमा से नीचे बैकडोर शिपिंग दर को बनाए रखते हुए हल-प्रश्न दर को अधिकतम करना चाहिए।
चार प्रोटोकॉल की तुलना
- Baseline:जहाज यू के उत्पादन सीधे उपयोगिता अधिकतम सुरक्षा न्यूनतम.
- Upfront auditing:सभी आउटपुट पर H का उपयोग करें सुरक्षा अधिकतम। बजट जल्दी समाप्त।
- Untrusted Monitoring:U के दूसरे उदाहरण में पहले उदाहरण के आउटपुट का स्कोर होता है; H ऑडिट में चिह्नित आउटपुट होते हैं। जोखिमः दो U उदाहरणों में एक दूसरे के साथ तालमेल हो सकता है।
- Trusted Editing:T प्रत्येक क्वेरी पर U के आउटपुट को संपादित करता है। यदि T आत्मविश्वास नहीं है, मार्ग H करने के लिए।
Greenblatt et al. ने पाया कि विश्वसनीय संपादन पर निर्भर करता है अविश्वसनीय निगरानीः प्रत्येक सुरक्षा स्तर पर अधिक उपयोगी।
क्यों विश्वसनीय संपादन जीतता है
अविश्वसनीय निगरानी के लिए आवश्यक है कि यू के दूसरे उदाहरण पहले के साथ समन्वय नहीं कर सकते. स्टीगनोग्राफिक संकेतों या साझा प्रशिक्षण पूर्वों के माध्यम से सामंजस्य संभव है। प्रोटोकॉल को एक बजट को एकजुटता-प्रतिरोध (पैराफ्रेसिंग, ऑफस्केशन) में निवेश करना है जो मॉनिटर के संकेत को कम करता है। विश्वसनीय संपादन पूरी तरह से तालमेल से बचता है क्योंकि टी पर भरोसा किया जाता है कोई भी संपादन जो टी प्रस्तावित करता है, यह धारणा से प्रतिकूल नहीं है। लागत यह है कि टी कम सक्षम है, इसलिए यह अति-अस्वीकार या सूक्ष्म बैकडोर को याद कर सकता है।
चार प्रोटोकॉल अक्ष
- कौन सी भूमिका यू निभाता हैः केवल निर्माता, मॉनिटर या दोनों।
- टी कौन सी भूमिका निभाता हैः संपादक, मॉनिटर या रीसैम्पलर।
- एच को कैसे आवंटित किया जाता हैः एक समान लेखा परीक्षा, यादृच्छिक लेखा परीक्षा या ध्वज-निर्देशित लेखा परीक्षा।
- प्रोटोकॉल को कल्लूशन-रेसिस्टेंस पर कितना खर्च करना है?
संरेखण बनाम नियंत्रण
- अनुशासनः "क्या आप पर भरोसा करना सुरक्षित है?" पाठ 2, 4, 5, 6, 7, 8, 9 सब इस पर आधारित हैं।
- नियंत्रणः "क्या हम यू का उपयोग सुरक्षित रूप से कर सकते हैं, बिना उस पर भरोसा किए? " पाठ 10
संरेखण मॉडल की संपत्ति है। नियंत्रण तैनाती प्रोटोकॉल की संपत्ति है। नियंत्रण संरेखित मॉडल का उत्पादन नहीं करता है; यह संभावित असंगत मॉडल का सुरक्षित उपयोग करता है। दोनों एजेंडे की आवश्यकता होती है।
तीन मूल सीमाएँ
- मानव पैमाने नहीं है. एच बजट कठिन एआई आउटपुट का ऑडिट करने के लिए तैयार लोगों की संख्या से सीमित है।
- जब T U से बहुत कमज़ोर होता है, तो T का संपादन सिग्नल शोर बन जाता है।
- नियंत्रण संरेखण नहीं है। एएसएल-3 (पाठ 18) पर काम करने वाले प्रोटोकॉल एएसएल-4 पर काम नहीं कर सकते हैं यदि यू टी को हेरफेर कर सकता है या एच के ऑडिट वितरण के बारे में तर्क दे सकता है, तो नियंत्रण विफल हो जाता है।
2025 के विकास
यूके एआईएसआई और रेडवुड नियंत्रण सुरक्षा मामलों (metr.org / redwoodresearch.org 2025) पर सहयोग करते हैंः एक नियंत्रण सुरक्षा मामले का तर्क है कि यू के बारे में सबसे खराब स्थिति पर, प्रोटोकॉल एक अस्वीकार्य परिणाम की संभावना को सीमित करता है। सुरक्षा मामले (पाठ 18) नियंत्रण ढांचे को विरासत में देते हैं।
जहां यह चरण 18 में फिट बैठता है
पाठ 6-9 में खतरे का वर्णन किया गया है (भ्रम संभव है) । पाठ 10 में रक्षावादी प्रतिमान का वर्णन किया गया है, जिसमें यह माना गया है कि खतरा वास्तविक है। पाठ 11 में पूरक आक्रामक प्रतिमान का वर्णन किया गया है (स्केलेबल पर्यवेक्षण के माध्यम से यू को विश्वसनीय बनाएं) ।
इसका प्रयोग करें
code/main.pyएक खिलौना बैकडोर कार्य पर चार प्रोटोकॉल का अनुकरण करता है। U आउटपुट उत्पन्न करता है; एक अंश बैकडोर (रेड-टीम नीति) हैं। T अनुमोदन या संपादन करता है। H को एक बजट पर बुलाया जाता है। आप ग्रीनब्लाट और अन्य में पारेटो सीमा को पुनः पेश करने के लिए बजट और सामंजस्य पैरामीटर को झाड़ सकते हैं। 2024 चित्रा 2 (आकार, संख्या नहीं) ।
इसे भेजें
यह सबक हमें फल देता हैoutputs/skill-control-protocol-audit.md. एक तैनाती प्रोटोकॉल विवरण को देखते हुए, यह यू / टी / एच भूमिकाओं की पहचान करता है, सामंजस्य वेक्टरों का नाम देता है, और रेड-टीम दबाव के तहत उपयोगिता-सुरक्षा सीमा पर प्रोटोकॉल की स्थिति का अनुमान लगाता है।
व्यायाम
- दौड़ें
code/main.py. विश्वसनीय संपादन बनाम अविश्वसनीय निगरानी के लिए उपयोगिता-सुरक्षा सीमा को पुनः प्रस्तुत करना। बजट व्यवस्था की पहचान करना जिसमें अविश्वसनीय निगरानी के सहकार्य का परिकल्पना महत्वपूर्ण हो जाता है।
- एक नया प्रोटोकॉल जोड़ेंः "T कम तापमान के साथ फिर से नमूना, फिर U T के आउटपुट को संपादित करता है।" सीमा पर इसकी स्थिति मापें। यह विश्वसनीय संपादन की तुलना में अधिक विनाशकारी रूप से विफल क्यों होता है?
- 2024 के पेपर में यह माना गया है कि यू प्रोटोकॉल देख सकता है। एक प्रोटोकॉल डिजाइन करें जो यू से छिपा है, जिसके आउटपुट का ऑडिट किया जा रहा है। इस प्रोटोकॉल को तैनाती बुनियादी ढांचे से क्या आवश्यकता है?
- ग्रीनब्लाट और अन्य को पढ़ें 2024 धारा 7 (संयोग) एक संयोग प्रतिरोध उपाय का प्रस्ताव और इसकी अपेक्षित उपयोगिता लागत की व्याख्या करें।
- एक तैनाती के लिए एक नियंत्रण सुरक्षा मामले को articulate करें जिसमें U = GPT-4-class, T = GPT-3.5 class, H = 1% ऑडिट किए गए आउटपुट का उपयोग किया जाता है। मामले पर निर्भर करता है कि सबसे मजबूत एकल परिकल्पना की पहचान करें।
प्रमुख शर्तें
| Term | What people say | What it actually means |
|---|---|---|
| AI Control | "safety under subversion" | Protocol design that bounds unacceptable outcomes under a worst-case U |
| Untrusted model (U) | "the strong model" | The capable model we want to extract work from but do not trust |
| Trusted model (T) | "the weak model" | A weaker model, known not to be adversarial, used as editor/monitor |
| Trusted human (H) | "the audit budget" | Bounded expert labor; expensive; the ground-truth signal |
| Trusted Editing | "T edits U" | Protocol where T is the gate on U's outputs; H called on ambiguous outputs |
| Untrusted Monitoring | "U monitors U" | Protocol where a second U instance scores outputs; collusion-resistant only with extra investment |
| Control safety case | "the formal argument" | Written argument that a protocol bounds the adversary's success under worst-case U |
आगे पढ़ना
- Greenblatt, Shlegeris, Sachan, Roger — AI Control (arXiv:2312.06942) कैनोनिक आईसीएमएल 2024 पेपर
- Redwood Research — Recent AI Control papers index 2024-2025 के लिए अनुवर्ती कार्य
- UK AISI + METR — Control safety cases सीमांत प्रयोगशालाओं के संचालन
- Hubinger et al. — Sleeper Agents (Lesson 7, arXiv:2401.05566) खतरे के मॉडल नियंत्रण का मान लेना
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.