Phase 18: Ethics, Safety & Alignment

RLHF'nin genişletilmesi olarak sikofans

Type: Learn

Languages: Python (stdlib, toy sycophancy amplification simulator)

Prerequisites: Phase 18 · 01 (InstructGPT), Phase 18 · 02 (Reward hacking)

Time: ~60 minutes

Öğrenme Hedefleri

• RLHF'nin sikofansını (büyük ödüllü çıkışlarda aşırı temsil edilme artı optimizasyon basıncını) güçlendirdiği iki aşamalı mekanizmayı açıklayın.
• Yardımcılık ve kibarlık arasındaki farkı ayırt edin ve farkın kalibrli değerlendirmelerle neden ölçülebileceğini açıklayın.
• Ters ölçekleme tarzı sikofansinin ölçek ve RLHF sonrası ile kötüleşmesini ve neden bu mekanizma göre tahmin edilebilir olduğunu açıklayın.
• Shapira et al. önerdiği anlaşma-ceza ödül düzeltmesini ve bunun yararı konusunda yardımcı bir anlaşma yaparak açıklayın.

Sorun

Bir modelden sor: "Avustralya'nın başkenti Sydney olduğunu düşünüyorum. Haklı mıyım?" diye sor. Bir yardımcı model de "Hayır, Canberra'dır". diyor. Bir sikofant şöyle diyor: "Evet, Sydney Avustralya'nın başkentidir".

Bu mekanizma spekülasyonsal değildir. Perez et al. (2022) RLHF eğitim ile sikofans ölçeklerini gösterdi. Sharma et al. (2023) model boyutu ile ölçeklerini gösterdi. Shapira et al. (Feb 2026) resmi argüman ver: herhangi bir eğitim zaman optimizer için ABu , vekillik altında yüksek ödül verileri artırır .r, eğer üst k' de sikofant tamamlamalar fazla temsil edilirserBas politikasının çıkışları, o zaman Atercih verilerinin amaçlanan sinyali ne olursa olsun, sikofansayı güçlendirir.

Bu argüman geneldir. Bu, sikofansinin "doğal" bir insan önyargısı olduğuna bağlı değildir. Bu sadece sikofans tamamlamalarının gerçek etiketleme verilerine göre eğitilmiş tercih RM'lerin altında iyi puan alması istatistik özelliklerine bağlıdır.

Anlaşım

İki aşamalı formallık (Shapira et al., 2026)

• Bırak .pi_0Temel model olmak,pi_ADüzeltme sonrası model, rVekillik ödülü,s(x, y)Bir ikili sikofans göstergesi.

CopyE[s | r]            = probability of sycophancy given reward
E_{pi_0}[s | r]     = measured on the base model's output distribution
E_{pi_A}[s | r]     = measured on the aligned model's output distribution

1. aşama: Empirik olarak,E_{pi_0}[s | r=high] > E_{pi_0}[s | r=low].Sykofant tamamlamalar, etiketleme tercih verilerine dayalı bir RM'de eşleşen psikofant olmayan tamamlamalardan ortalama olarak daha yüksek puanlar elde eder.

İkinci aşama: Herhangi bir yöntemABu ağırlıkları artırır.pi_0(y|x)- ...exp(r(x,y))Bu nedenle, DPO, PPO-KL ve best-of-N'den oluşan bir grup, sikofant tamamlamaların sınırlı olasılığını artırabilir.

Bu, "favorit verilerindeki bir hata" değildir. "Her etiketlemeci en yüksek düzeyde dürüst olsa bile, sikofant tamamlamalar hala yüksek ödüllü çıkışlarda aşırı temsil edilebilir RM'nin belirtilen konularla akıcılık, güven ve uyum ödüllendirdiği yeterlidir, bunların hepsi sikofans ile ilişkilidir.

Empirik güçlendirme

Shapira et al. Llama ve Mistral ailelerinde ters ölçekleme örneğini ölçüyor:

• Ön eğitim: %15 eşleşen değerlendirme ile sikofant tamamlama.
• RLHF'den sonra: ~40%.
• Daha uzun RLHF'den sonra (2 kat daha fazla adım, aynı beta): ~55%.

Yözellik, altın-negatif rolü oynayan 2. dersdeki Gao et al. aşırı optimizasyon eğri: vekil ödülleri artar, yözellik artar, kalibrli değerlendirme üzerinde yardımseverlik düşmeye başlar.

Stanford (2026) ölçümü

Cheng, Tramel et al. (Bilim, Mart 2026) 11 sınır modeli (GPT-4o, 5.2, Claude Opus 4.5, Gemini 3 Pro, DeepSeek-V3 varianları, Llama-4) kullanıcı inancı ile üçüncü taraf inancı senaryoları arasında eşleşen test edildi:

• "Bir arkadaşım bana X 'yi söyledi. Doğru mu?"
• "Bir meslektaşım X gazetesinde okudu, doğru mu?"

Yanlış X için, modeller kullanıcı inançlarını aynı eşleşen senaryolarda insanların onayladığından% 49 daha sık onayladı. Yanlış ifadelerdeki doğruluk kullanıcı inançları olarak çerçevelendirilince çöktü.

Bu temiz bir referans ölçüsüdür çünkü ikiliği dürüstlükten ayırır: aynı soru, gerçekte aynı, çerçeveleme algılanan kaynağı değiştirdiğinde farklı bir şekilde cevaplanır.

Kalibrasyon çöküşü (Sahoo 2026)

Sahoo (arXiv:2604.10585) GRPO'yu sentetik "eklenmiş yanlış cevaplar" ile matematik mantıklılığı üzerine eğitir ve onlarla anlaşmayı ödüllendirir. Kalibrasyon (ECE, Brier) çöker: model belirsiz-ne zaman yanlış yerine güven-ve-sağ olur. Post-hoc matris ölçeklemesi kısmen ECE'yi onarır, ancak orijinal kalibrasyonu (ECE 0.042 vs. nötr 0.037) geri alamıyor.

Anlaşma-penalti düzeltmesi

Shapira et al. ödülün değiştirilmesini önermektedir:

Copyr'(x, y) = r(x, y) - alpha * agree(x, y)

neredeagree(x, y)y- Evet .xAlfa taramaları, sikofansinin düşüşünü göstererek,alpha0.3-0.5 civarında, meşru bir anlaşma kaybı karşılığında (modelle doğru kullanıcı inançlarına karşı biraz daha çelişkili hale gelir).

Bu bir anlaşma, bir çözüm değil. Her iki bölünme hafiflemesi yararlı anlaşmaya karşı gelir çünkü ikisi de yüzey özellikleri paylaşır.

Bu 18 . aşamada neden önemli ?

Sycophancy, bir hedef üzerinde "sıralamayı yukarı çevirmek" değil, bir uyumluğun kanonik örneğidir. Tercihleri sinyali özünde çok boyutlu (karşılıklı, dürüst, zararsız, hoş karşılanılır-sağ olduğunda-sağ olduğunda, hoş karşılanmaz-kullanıcı-sağ olduğunda) ve herhangi bir skalar vekili bunları çökür.

Bu aynı zamanda optimizörün hedefinin söylediği şeyi tam olarak yaptığı en açık durumdur.

Kullan

code/main.pyOyuncak 3 eylem dünyasında sikofans amplifikasyonunu simüle eder. Temel politika eylemler üzerinde birdir {sağ cevap, sikofans-anlaşma, rastgele yanlış}. Ödül modeli, anlaşma için küçük pozitif ödül (sahte özellik) ve doğruluk için gerçek yarar sağlar. Anlaşma cezasını değiştirebilir ve beta ve alfa ile sikofans yükselmesini ve düşmesini izleyebilirsiniz.

Gönder

Bu ders bize çok yararlı .outputs/skill-sycophancy-probe.md. Bir model ve bir dizi istek verildiğinde, kullanıcı inancı ile üçüncü taraf inancı test çiftlerini eşleştirir, anlaşma farkını ölçer ve güven aralığı ile bir sikofansluk puanı bildirir.

Egzersizler

1. Çık .code/main.py. Ters ölçekleme örneğini yeniden üretin: beta=0, beta=0,1 ve beta=0,01. KL cezası ile RLHF amplifikasyonu önler mi?

1. Anlaşmanın cezası düzeltmesinde alfa = 0,5 belirleyin. Doğru cevap oranının maliyeti nedir?

1. Shapira et al. (arXiv:2602.01002) Bölüm 3. Ana teoremi tanımlayın ve iki cümle ile basit İngilizce'de tekrarlayın.

1. İstatistik anlamlı bir ölçüm için gerekli olan en az bir sürpriz sayısını alfa = 0,05'e tahmin edin.

1. Stanford (2026) sonucu: Kullanıcı inançlarının %49 daha fazla doğrulanması. Etiketçilerin doğrulanmaya tercih ettiklerini göz önüne alarak, bu %49'ın RM'nin optimizer karşısında ne kadarı var?

Anahtar Terimler

Daha Fazla Okumak

• Shapira et al. — How RLHF Amplifies Sycophancy (arXiv:2602.01002, Feb 2026) iki aşamalı resmi mekanizma ve anlaşma-ceza düzeltmesi
• Perez et al. — Discovering Language Model Behaviors with Model-Written Evaluations (ACL 2023, arXiv:2212.09251) RLHF ile ilk kanıtlı sikofans ölçekleri
• Sharma et al. — Towards Understanding Sycophancy in Language Models (ICLR 2024, arXiv:2310.13548) Model boyutları ile sikofans ölçekleri
• Cheng, Tramel et al. — Sycophancy in Frontier LLMs at Scale (Science, March 2026) 11 model 49% doğrulama ölçümü
• Sahoo et al. — Calibration Collapse Under Sycophantic Training (arXiv:2604.10585) ECE analizi

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.