Phase 16: Multi-Agent & Swarms

Consenso y tolerancia bizantina a la culpa de los agentes

Type: Learn + Build

Languages: Python (stdlib)

Prerequisites: Phase 16 · 07 (Society of Mind and Debate), Phase 16 · 13 (Shared Memory)

Time: ~75 minutes

El problema

Hay N LLM agentes cada uno que produce una respuesta. No están de acuerdo. La mayoría de votos elige el equivocado porque dos agentes están correlacionados (el mismo modelo base, los mismos datos de entrenamiento, los mismos modos de falla).

Ahora añadir un agente engañoso: se encuentra a propósito. O un agente sicófante: está de acuerdo con quien ha hablado por último. En BFT clásico, la suposición es que los nodos bizantinos son una fracción.f < n/3La realidad de 2026 es que los nodos LLM son estocásticos incluso cuando son honestos, correlacionados entre los modelos, e influenciados por los resultados de los demás. No se puede tratarlos como votantes independientes de Bernoulli.

El BFT clásico (PBFT, 1999) no está equivocado es incompleto. Se ocupa de la flexión arbitraria de bits. No se ocupa de "tres agentes honestos comparten una alucinación porque comparten datos de entrenamiento". Esta lección se basa en la base de PBFT y las capas de tres adaptaciones 2025-2026.

Concepto

¿Qué te da el BFT clásico?

La tolerancia práctica de la falta bizantina (Castro y Liskov, OSDI 1999) tolera f < n/3Los nodos bizantinos. El protocolo tiene tres fases (preparación, preparación, compromiso) y dos primitivas (mensajes firmados, certificados de quórum).n >= 3f + 1los nodos honestos o maliciosos.

Las garantías son fuertes, pero se supone que:

1. Independent faults.Los bizantinos no se coordinan.
2. Honest nodes are truly honest.La corrección de las salidas honestas no es un problema; el protocolo solo alinea el desacuerdo.
3. The question has a ground-truth answer.El consenso sobre un hecho equivocado sigue siendo consenso.

Los agentes de LLM violan los tres. Dos agentes que ejecutan el mismo modelo base comparten fallos. Un LLM "honesto" todavía alucina. Y en preguntas ambigüas, la "verdad" es lo que los agentes deciden no hay oráculo externo.

Los tres ataques específicos de la LLM

Byzantine lie.Un agente da una respuesta deliberadamente incorrecta.f < n/3¿ Qué ?

Sycophantic conformity.Un agente lee las respuestas de otros antes de votar y se alinea con quien ha hablado por último. No es malicioso, pero correlaciona con la voz más alta.

Correlated-error monoculture.Tres agentes comparten un modelo base. Alucinan la misma respuesta equivocada. La mayoría está equivocada.

Las respuestas de 2025 a 2026

CP-WBFT(arXiv:2511.10400) BFT ponderado probado por confianza. Cada votante une una sonda de confianza a su respuesta (una probabilidad autoinformada o la predicción de un modelo de calibración separado).

DecentLLMsLos agentes de trabajo proponen en paralelo, los agentes de evaluación ponen propuestas, la respuesta final es la media geométrica de las posiciones ponedoras.f < n/2. Mitigation for: mentira bizantina y errores correlacionados (mediana geométrica es robusta a valores extremos y se dirige hacia el cúmulo denso, no a la media basada en modelos).

WBFT(arXiv:2505.05103) Peso BFT con Clustering de Estructura Jerárquica. Los pesos de voto se asignan por calidad de respuesta más un puntaje de confianza aprendido de la historia. Agentes de grupo en Core y Edge; Agentes de Core deben lograr el consenso primero, Agentes de Edge siguen. Mitigation para: escalabilidad (Core consenso es pequeño y rápido) y parcialmente para monocultura (Core se puede elegir para la diversidad).

Empirical: "¿Pueden los agentes de IA estar de acuerdo?" (arXiv:2603.01213)

El papel mide el acuerdo escalar (agentes LLM que acuerdan un solo valor numérico) en múltiples modelos fronterizos.

• Incluso sin adversarios, los agentes de LLM no están de acuerdo en cuestiones escalares a tasas superiores al 30% en muchos puntos de referencia.
• Un agente que adopte una personalidad engañosa puede sacar el consenso de la mezcla de agentes 40 puntos porcentuales más de la línea de base honesta.
• Las tasas de desacuerdo se correlacionan con la diversidad de modelos los conjuntos heterogéneos no coinciden más que los homogéneos (bueno: errores no correlacionados) pero también se desvían más lentamente (malo: tiempo más largo para llegar a un acuerdo).

El resultado: BFT le da un mecanismo para alinear las salidas, pero no le dice si la salida alineada es correcta. Combina con la verificación (fase 16 · 08 especialización de roles), la diversidad (fase 16 · 15 variantes de debate) y los agentes evaluadores (fase 16 · 24 puntos de referencia).

El protocolo central, despojado

Una ronda mínima de BFT para los agentes de LLM:

Copy1. task arrives; each agent i produces answer a_i
2. each agent attaches confidence probe c_i in [0, 1]
3. aggregator collects (a_i, c_i) from all n agents
4. aggregator groups by semantic cluster (equivalent answers)
5. aggregator computes weight for each cluster C:
     w(C) = sum_{i in C} c_i
6. winner = cluster with max weight, if max > threshold * sum(c_i)
   else: retry or escalate
7. minority clusters logged with provenance for post-hoc audit

El paso de agrupamiento semántico es el giro específico del LLM. Dos respuestas "el estudio informa un 4,2%" y "una mejora del 4,2%" son el mismo agrupamiento.

El ajuste del umbral

El thresholdEl parámetro decide cuándo aceptar y cuándo volver a intentar. Demasiado bajo: aceptas mayoritades débiles. Demasiado alto: nunca aceptas nada. Rango empírico: 0,5-0,67 para n=5-7Los agentes, más altos para los más pequeños nPor debajo de un umbral, escalar a un humano o a un conjunto de agentes diferentes.

Cuando el consenso no ayuda

• Ambiguous questions.Si la pregunta no tiene verdad, el consenso es una opinión.
• Compound questions."Escribe código y explique" dos respuestas. Vota por cada uno de forma independiente.
• Adversarial multi-round.Si los agentes pueden observar las rondas anteriores y imitar (debate Du 2023), comienzan a estar de acuerdo entre sí independientemente de la verdad.

Construye el mismo

code/main.pylos instrumentos:

• AgentVoter una política escrita con (respuesta, confianza).
• MajorityVote Pluralidad clásica.
• CPWBFT Votación ponderada por confianza con agrupación semántica.
• DecentLLMs Agregación geométrica-mediana de las propuestas obtenidas.
• Scenario ejecuta cada agregador bajo tres patrones de ataque.

Modelos de ataque implementados:

1. byzantineUn agente miente con mucha confianza.
2. sycophancyUn agente copia la primera respuesta que ve, con la misma confianza.
3. monocultureEn el caso de los agentes, el resultado es el siguiente:

• ¿Qué quieres decir ?

Copypython3 code/main.py

La mayoría de los casos de monocultura no se cumplen con el caso de la monocultura. La ponderación de confianza de CPWBFT mitigará la sícofancia. La mediana geométrica de los decentes LLM se dirige hacia el cúmulo honesto cuando la monocultura es menos de la mitad de la población.

Usalo

outputs/skill-consensus-designer.mddiseña un protocolo de consenso para un conjunto de múltiples agentes: método de agrupamiento, ponderación, umbral y política de escalada para las rondas de subumbral.

Envío

Antes de enviar cualquier mecanismo de consenso:

• Attack-test with at least the three patternsSu protocolo debe fallar de manera predecible, no silenciosamente.
• Log every minority clusterLos grupos minoritarios son su sistema de alerta temprana para errores correlacionados.
• Enforce bounded rounds.No "continuar el debate hasta un acuerdo" que recompensa la sicofanía.
• Separate agreement from correctness.La salida de consenso se dirige a un verificador; el verificador es independiente del conjunto.
• Monitor the agreement rate.Un aumento agudo significa sesgo de conformidad; una caída aguda significa deriva del modelo.

Los ejercicios

1. - ¿ Qué ?code/main.py.Confirmar la pluralidad fracasa el ataque de la monocultura pero CPWBFT lo mitigará parcialmente cuando la confianza de la monocultura es inferior a 0,7.
2. Añadir un cuarto patrón de ataque:silent abstention un agente se niega a responder ("no sé"). ¿Cómo debe tratar cada agregador las abstenciones?
3. Cambiar el agrupamiento semántico de la canonización de cadenas a la similitud de incorporación (utilice cualquier modelo de incorporación de código abierto). ¿Qué sucede con el ataque de sícofancia?
4. Leer CP-WBFT (arXiv:2511.10400). Implementar el paso de calibración de la sonda de confianza (un modelo de calibración separado verifica la confianza autoinformada de cada agente). Medir el aumento de precisión en el escenario de monocultivo.
5. Leer "¿Pueden los agentes de IA estar de acuerdo?" (arXiv:2603.01213). Reproduce un experimento simplificado de acuerdo escalar: tres agentes, una pregunta escalar, la persona engañosa. ¿CFPBFT o DecentLLMs lo captan?

Términos clave

Leer más

• Castro & Liskov — Practical Byzantine Fault Tolerance (OSDI 1999) la fundación
• CP-WBFT — Confidence-Probe Weighted BFT Peso de los votos por confianza
• DecentLLMs — leaderless multi-agent consensus Agregación geométrica-mediana
• WBFT — Weighted BFT with Hierarchical Structure Clustering División de núcleo/ borde para latencia limitada
• Can AI Agents Agree? Fragilidad de los acuerdos escalares y ataque de persona engañosa

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.