Phase 15: Autonomous Systems

CAIS, CAISI ve Toplum Ölçüsünde Risk

Type: Learn

Languages: Python (stdlib, four-risk inventory and mitigation matcher)

Prerequisites: Phase 15 · 19 (RSP), Phase 15 · 20 (PF + FSF)

Time: ~45 minutes

Sorun

Dersler 19 ve 20 laboratuvar içi ölçeklendirme politikalarını kapsamaktadır. Ders 21 bağımsız kapasite değerlendirmesini kapsamaktadır. Bu ders üçüncü bakış açısını kapsar: sivil toplum ve kamuoyu düzenlemelerini ve AI riskini felaketle karşılayan düzenleyici temelini şekillendiren hükümet örgütlerini.

CAIS, AI riskleri hakkında düşünme çerçeveleri yayınlayan ve kamu açıklamalarını koordine eden bir kar amacı gütmeyen araştırma örgütüdür. CAISI, NIST'in içinde gönüllü anlaşmalar yapan ve sınıflandırılmamış kapasite değerlendirmeleri yapan bir ABD hükümet merkezi.

Pratik içeriği: CAIS'in dört risk çerçevesinin literatürde en çok alıntılanan toplumsal ölçek risk taksonomisi. Güvenlik kültürü ve örgütsel risk bu dörtten biridir ve bu bir uygulayıcının kontrolü altındaki en doğrudan bir şeydir. SB-53 (Kaliforniya) imza yapılırsa ABD eyalet düzeyinde ilk felaket riski düzenlemesi olacaktır; tasarının çerçevesinde önemli olan, çünkü eyalet düzeyinde düzenleme tarihsel olarak ABD teknolojik politikasında federal eylemlere yol açmıştır.

Anlaşım

CAIS AI Güvenliği Merkezi

• San Francisco'da 2022 yılında Dan Hendrycks ve meslektaşları tarafından kurulmuştur ( "Zhang" adı, mevcut bir ortak kurucu değil, erken bir işbirlikçiyi ifade eder; mevcut liderlik için CAIS web sitesine bakın).
• Durum: 501 ((c) ((3) kâr amacı gütmeyen kuruluş.
• Görkemli 2023 sonucu: yüzlerce araştırmacı ve CEO'nun ortak imzaladığı yok olma riskiyle ilgili açıklama. "İS'ten yok olma riskini azaltmak, salgın hastalıklar ve nükleer savaş gibi diğer toplumsal risklerle birlikte küresel bir öncelik olmalıdır" dedi.
• 2026 çıkışları: Sınır model değerlendirmesi için AI Tablosu, Uzaktan İş İndeksi (Scale AI ile birlikte), Süper zeka Stratejisi Kağıdı, AI Sınırları haber bültenleri.

Dört risk çerçevesini

CAIS çerçevesinde, felaketli AI riskini dört üst düzey kategoride gruplandırıyor:

1. Malicious use: kötü bir oyuncu, AI'yi zarar vermek için kullanır (biyo silah sentezi, yanlış bilgi, siber saldırılar).
2. AI racesLaboratuvarlar, şirketler veya ülkeler arasındaki rekabet basıncı, dağıtımın güvenli olduğu noktan öteye doğru ilerlemesini sağlar.
3. Organizational risks: iç laboratuvar dinamikleri (güven kültüründe başarısızlıklar, yetersiz denetim, yetersiz kaynaklı güvenlik) kötü bir uygulama üretir.
4. Rogue AIs: Yeterince yetenekli bir Yapay zeka, insan refahıyla çelişen hedefleri takip eder.

Bu tek taksonom değil; en çok alıntılanan. Kategoriler birbirini hariç tutmuyor bir yarışta hız denetimi yapan bir organizasyon tarafından üretilen bir çirkin AI dörttür.

Organizasyonel riskin yaşadığı yer

Dört kategoriden, örgütsel risk uygulanabilir bir laboratuvarın güvenlik kültürü, denetim sıkıntısı, savunma katmanlama ve bilgi güvenliği, ders 1018 kontrolleri ile model gemilerinin gerçekten yer aldığını veya bu kontrollerin kimsenin doğrulanmadığı kontrol listesi öğeleri olup olmadığını belirler.

Konkret organizasyonel risk levhaları:

• Safety cultureCAIS anketleri bu durumun diğer derecelerin güçlü bir tahmincisi olduğunu buldu.
• Rigorous auditsSadece iç denetimler iyimser raporlar üretir.
• Multi-layered defenses: tek bir katman yeterli değildir (Faz 15'in devam konusu).
• Information securityModelle ağırlık sızdırılması, değerlendirme verileri sızdırılması, izleyici-önleme teknikleri sızdırılması.

CAISI AI Standartları ve Yenilikler Merkezi

• NIST'de çalışır.
• Sınır laboratuvarlarıyla gönüllü anlaşmalar yürütüyor.
• Siber, biyolojik ve kimyasal silah risklerine odaklanan sınıflandırılmamış kapasite değerlendirmeleri yayınlar.
• CAIS'ten farklı; kısaltmalar çarpışır; hangi birini okuduğunuzu doğrultmak için URL'yi (nist.gov) kontrol edin.

CAISI'nin rolü, METR'nin özel laboratuvar çalışmalarına (Desin 21) kamu ve hükümet karşıtıdır. CAISI raporları sınıflandırılmamıştır; METR raporları genellikle NDA kapalıdır.

Kaliforniya SB-53

Kaliforniya Senatosu tasarısı (2025 2026 seansı) sınır modellerinden gelen felaket riskini ele alıyor.

• Devlet düzeyinde yükümlülükleri tetikleyen özel kapasite eşiği.
• AI laboratuvarı çalışanları için haberci koruma.
• Katastrofik başarısızlıklar için olay raporlama gereksinimleri.

Eğer imzalanırsa, ABD eyalet düzeyinde ilk felaket riski düzenlemesi olacaktır. İmza durumuna bakılmaksızın, yasa tasarısının çerçevesinde diğer eyalet mevzuatçılarının soruna nasıl yaklaştığı şekillendirilir. Kaliforniya'daki uygulayıcılar yasa tasarısının durumunu takip etmelidir; diğer yerlerde uygulayıcılar ABD eyalet düzeyinde düzenlemenin nasıl görüneceğini anlamak için okumalıdır.

Toplumsal risk tek katmanlı bir sorun değildir.

15'inci aşamada devam eden teması derin savunma toplumsal katmanlarda da geçerlidir. Tek bir organizasyon, düzenleme veya çerçeve felaket riski kapatmaz.

• Laboratuvarlar'ın ölçeklendirme politikaları (Deneyimler 19, 20).
• Dış değerlendiciler ölçümler yapar (Denevi 21).
• Sivil toplum izleme ve kamuoyuna yayımlama (CAIS).
• Hükümet gönüllü programlar ve temel düzenleme (CAISI, SB-53) yürütüyor.
• Pratikçiler çok katlı kontroller inşa (Düşünmeler 1018).

Bu, aşama için son sentez: her önceki ders, tamamlılığı herhangi bir tabaka gücünden daha önemli olan bir yığındaki bir katmandır.

Kullan

code/main.pyBu, bir risk envanteri aracı uygulamaktadır. Bir önerilen dağıtımla, dağıtımın dört risk kategorisine karşı etiketlenmesini ve azaltma kontrol listesini gönderir.

Gönder

outputs/skill-societal-risk-review.mdToplum ölçeğinde risk pozisyonu için bir uygulama değerlendiriyor: dört kategoriden hangisine değiniyor, hangi hafiflemeler uygulanıyor, kurumsal risk maruz kalması nedir.

Egzersizler

1. Çık .code/main.py. Farklı ölçeklerde üç sentetik dağıtım ekleyin. Dört risk etiketlerinin beklediğinizle uyumlu olduğunu doğrulayın; araçın düşük veya aşırı etiketlendiği bir durum belirleyin.

1. CAIS dört risk kağıdı'nı tamamıyla okuyun. Bir risk kategorisini seçin ve 2026'da bu kategoride en önemli gelişme olduğuna inandığınız şey hakkında iki paragraf yazın.

1. California SB-53'in hazırkı taslağını okuyun.

1. Bildiğiniz bir üretim AI dağıtımını seçin (seninki veya yayınlanmış bir tane). Kurumsal risk alt dereceleri ile karşılaştırın: güvenlik kültürü, denetim sıkılığı, çok katlı savunmalar, bilgi güvenliği. En zayıf olan hangisi?

1. Dört risk çerçevesinin 2028 versiyonunu çizin ki bu bir yılın ek kapasite ve bir yılın ek dağıtım deneyimi yansıtır. Neyi ekleyeceksiniz, çıkarırsınız veya yeniden gruplandırırsınız?

Anahtar Terimler

Daha Fazla Okumak

• Center for AI Safety Dört risk çerçevesinin kurumsal evleri.
• CAIS — AI Risks that Could Lead to Catastrophe dört riskli kağıt.
• CAIS — May 2023 statement on extinction risk Kısa ortak açıklama.
• NIST CAISI Hükümet karşısında AI standartları ve yenilik merkezi.
• Anthropic — Measuring agent autonomy in practice laboratuvar düzeyinde yapılan yükümlülükleri toplumsal ölçekte bir çerçeveye bağlar.

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.