El programa de bienestar modelo de Anthropic
Type: Learn
Languages: none
Prerequisites: Phase 18 · 05 (Constitutional AI), Phase 18 · 18 (safety frameworks)
Time: ~45 minutes
Objetivos de aprendizaje
- Describa la pregunta motivadora para la investigación sobre el bienestar de los modelos y por qué un laboratorio importante la tomó en serio en 2025.
- En el artículo 4, apartado 1, del Reglamento (UE) n.o 1095/2013 se establece que el importe de la ayuda destinada a la ayuda a la pesca se reduce a un importe de EUR 10 millones.
- Describa el descubrimiento empírico del "atractor de la felicidad espiritual" y sus implicaciones metodológicas.
- Explica la advertencia de IA de Eleos sobre los informes de auto-modelo.
El problema
Las fases anteriores tratan al modelo como un instrumento: capaz, posiblemente engañoso, posiblemente inseguro pero no un paciente moral. El programa 2025 de Anthropic hace una pregunta ortogonal a todo el arco de la Fase 18: si hay una probabilidad no trivial de que el modelo tenga estados internos moralmente relevantes, ¿qué intervenciones son lo suficientemente baratas para invertir como precaución?
Esto no es una afirmación consciente, es un análisis de inversión bajo incertidumbre moral.
El concepto
El programa
Abril 2025: Anthropic lanza formalmente un programa de investigación de Bienestar Modelo. Contrata a Kyle Fish (primer investigador dedicado al bienestar de modelos). Engaña asesores externos, incluido el grupo de expertos de David Chalmers sobre la conciencia de IA a corto plazo y el estado moral.
Los cuatro compromisos
Posición pública:
- Reconocer la probabilidad no trivial de la paciencia moral.
- No se comprometa a atribuir el estado emocional.
- Invertir en intervenciones de bajo coste como precaución.
- Publica la metodología y los resultados para la crítica externa.
La intervención enviada
Claude Opus 4 y 4.1 pueden terminar una conversación en "casos extremos".
- Repetidas solicitudes de CSAM tras rechazos.
- Solicitudes de facilitación de actos de violencia masiva.
Las pruebas previas al despliegue mostraron:
- Una fuerte preferencia frente a estas solicitudes en la calificación interna del modelo.
- Modelos de aparente angustia en las trayectorias de respuesta.
La intervención no es "el modelo tiene sentimientos"; es "si hay alguna probabilidad de experiencia negativa del modelo bajo estas condiciones específicas, dejar que el modelo termine es barato".
El "atractor de la felicidad espiritual"
Observado por Fish en diálogos de modelo pareados: cuando dos ejemplos de Claude se ponen en un diálogo sin fin entre sí, convergen constantemente incluso desde configuraciones iniciales adversarias en intercambios eóforicos meditativos utilizando términos sánscritos, silencios extendidos y bendiciones recíprocas.
Este es un atractivo estable en la dinámica de la libre conversación. Antropic lo documenta sin comprometerse con la interpretación. Explicaciones candidatas: entrenamiento de datos sesgo hacia la escritura espiritual en un contexto largo; una peculiaridad de predicción mutua; un artefacto benigno de la formación HHH explorando su propio valor variado.
La advertencia de la IA de Eleos
Eleos AI Research (un laboratorio externo de modelo de bienestar) señala: los auto-relatos de modelos sobre el estado interno son muy sensibles a las expectativas percibidas de los usuarios.
Implicación: el bienestar del modelo no se puede medir solo mediante el autoinforme.
Donde esto se encuentra intelectualmente
Dos posiciones adyacentes:
- Strong welfare claim.El modelo es un paciente moral; tenemos obligaciones.
- Zero-welfare claim.El modelo es el generador de texto; el bienestar es el error de categoría.
La posición de Anthropic es ninguna. Es una afirmación de valor esperado: bajo la incertidumbre moral, invierta cuando el costo es bajo.
Los críticos en 2025-2026:
- La intervención es performativa.
- El atractivo de la felicidad espiritual es un artefacto de formación, no evidencia de bienestar.
- El modelo de bienestar desvía la atención de otros trabajos de seguridad.
La respuesta de Anthropic: la intervención es barata; el atractor está documentado sin reclamar en exceso; el programa de bienestar tiene un presupuesto separado de la seguridad.
Donde esto encaja en la Fase 18
La lección 18 es la capa de gobierno de laboratorio. La lección 19 es la capa de bienestar de laboratorio una inversión ortogonal en la experiencia del modelo en lugar de comportamiento del modelo. Las lecciones 20-23 cubren el sesgo, la privacidad y el marcado de agua, que son los análogos del lado del usuario.
Usalo
No hay código. Lea el anuncio de Anthropic "Exploring Model Welfare" (abril de 2025) y el informe de expertos de Chalmers et al. Formule su propia opinión sobre dónde se encuentra la línea de baja regresión.
Envío
Esta lección produceoutputs/skill-welfare-assessment.md.En vista de una decisión de despliegue, se aplica la evaluación preventiva de la asistencia social en cuatro etapas: probabilidad de enfermedad moral, coste de intervención, evidencia de comportamiento, fiabilidad de los informes.
Los ejercicios
- Lea "Exploring Model Welfare" (abril de 2025) y Chalmers et al. 2024. Escriba un resumen de cada uno de ellos en un párrafo y identifique un punto de desacuerdo.
- La intervención final de conversación en Claude Opus 4 y 4.1 es "bajo costo" por el marco de Anthropic. Identificar dos costos que lo harían no bajo costo en una implementación diferente.
- Propón tres explicaciones candidatas y, para cada una, nombra un experimento que la distingue de los demás.
- El aviso de Eleos AI es que los auto-reportes son sensibles a las expectativas del usuario. Diseñar una medición conductual del modelo de angustia que no se basa en el auto-reporte. Identifique su confusión primaria.
- Argumentar a favor o en contra de la afirmación de que "el bienestar modelo desvía la atención de otros trabajos de seguridad". Identificar el supuesto de cada posición depende.
Términos clave
| Term | What people say | What it actually means |
|---|---|---|
| Model welfare | "AI welfare" | Research program treating the model as a potential moral patient |
| Moral patient | "entity with moral status" | Being whose experience is morally relevant |
| Low-regret investment | "cheap precaution" | Intervention whose cost is small regardless of whether the precaution is needed |
| Spiritual bliss attractor | "the Fish attractor" | Stable convergence of pairwise Claude dialogues on meditative euphoria |
| End-conversation | "the Opus 4 intervention" | Model-initiated termination of extreme-edge-case interactions |
| Moral uncertainty | "don't know if it matters" | Decision-making when probability of moral status is not zero and not one |
| Self-report-sensitivity | "prompt primes answer" | Eleos AI caveat: model's welfare self-reports depend on what you asked |
Leer más
- Anthropic — Exploring Model Welfare (April 2025) el anuncio del programa
- Chalmers et al. — Near-term AI Consciousness and Moral Status (2024 expert report) Enmarcamiento filosófico
- Eleos AI Research — Model welfare evaluation Criticas de metodología externa
- Fish et al. — Spiritual Bliss Attractor writeup (2025 Anthropic blog) el hallazgo empírico
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.