Phase 16: Multi-Agent & Swarms

توافق و تحمل خطای بیزانس برای عوامل

سیستم های توزیع شده کلاسیک BFT با LLM های استوکاستیک مطابقت دارد. در سال های 2025 تا 2026 سه جهت تحقیقاتی ظاهر شد: CP-WBFT(arXiv:2511.10400) هر رای را با یک تحقیق اعتماد سنجی می کند.DecentLLMs(arXiv:2507.14928) بدون رهبر می رود با پیشنهادات متوازی کارگران و جمع بندی هندسی-وسطایی.WBFT(arXiv:2505.05103) رای گیری با وزن با گروه بندی ساختار سلسله مراتبی را برای تقسیم گره های هسته و کناره ترکیب می کند. نتیجه تجربی صادقانه از "آیا عوامل هوش مصنوعی موافق هستند؟" (arXiv:2603.01213) این است که حتی توافق مقیاس امروز شکننده است یک عامل فریب دهنده می تواند یک مخلوط عوامل را به خطر بیندازد. BFT لازم است اما کافی نیست. این درس یک پروتکل BFT کمترین را ایجاد می کند، سه حمله خاص عامل را تزریق می کند (باطل بیزانس، مطابقت سیکوفانت، یک فرهنگ اشتباه مرتبط) و اندازه گیری می کند که چگونه هر نوع توافق با آن مقابله می کند.

Type: Learn + Build

Languages: Python (stdlib)

Prerequisites: Phase 16 · 07 (Society of Mind and Debate), Phase 16 · 13 (Shared Memory)

Time: ~75 minutes

مشکل

شما N LLM عوامل هر تولید یک پاسخ. آنها مخالفند. اکثریت رای را انتخاب اشتباه است زیرا دو عامل مرتبط هستند (مودل پایه یکسان، داده های آموزشی یکسان، حالت شکست). یک عامل سوم اتفاق می افتد به یک روش جدید اشتباه است بنابراین اکثریت اکثریت نادرست است.

حالا یک عامل فریب دهنده اضافه کنید: این به طور عمدی دروغ می گوید. یا یک عامل سیکو فانتزی: با هر کسی که آخرین حرفی را زد موافق است. در BFT کلاسیک، فرض این است که گره های بیزانس یک کسری هستند.f < n/3واقعیت این است که گره های LLM حتی وقتی صادق هستند، استوکاستیک هستند، در میان مدل ها ارتباط دارند و تحت تاثیر نتایج یکدیگر هستند. شما نمی توانید آنها را به عنوان رای دهندگان مستقل برنولی رفتار کنید.

BFT کلاسیک (PBFT، 1999) اشتباه نیست نامکمل است. این عمل با بایت فلیپینگ تعسفی انجام می دهد. این کار با "سه عامل صادق با هم توهم می کنند زیرا داده های آموزشی را به اشتراک می گذارند" انجام نمی دهد. این درس از پایه و لایه های PBFT بر روی سه سازگاری 2025-2026 ساخته شده است.

مفهوم

چه چیزی BFT کلاسیک به شما می دهد

تحمل عملی اشتباه بیزانس (کاسترو و لیسکوف، OSDI 1999)f < n/3گره های بیزانس. پروتکل سه مرحله (پیش از آماده شدن، آماده سازی، تعهد) و دو مرحله اولیه (رسالات امضا شده، گواهینامه های جمع بندی) دارد.n >= 3f + 1گرهاي صادق يا بدخيلي

تضمین ها قوی هستند اما فرض می کنند:

Independent faults.بازنطینی ها هماهنگی ندارند.
Honest nodes are truly honest.درست بودن نتایج صادقانه یک مسئله نیست؛ پروتکل فقط اختلاف را هماهنگ می کند.
The question has a ground-truth answer.توافق در مورد یک واقعیت اشتباه هنوز هم توافق است.

ماموران LLM سه تا را نقض می کنند. دو مامور با یک مدل پایه مشترک نقص است. یک LLM " صادق " هنوز هم توهم می گذارد. و در سوالات مبهم، "حق" چیزی است که ماموران تصمیم می گیرند هیچ کلام خارجی وجود ندارد.

سه حمله خاص LLM

Byzantine lie.يه مامور به طور عمدي جواب اشتباه ميدهf < n/3. .

Sycophantic conformity.یک نماینده قبل از رای دادن پاسخ های دیگران را می خواند و با آخرین کسی که صحبت کرد مطابقت دارد. بدخواه نیست، اما با بلندترین صدای ارتباط دارد. BFT کلاسیک از این جلوگیری نمی کند زیرا نماینده هر چک امضا را رد می کند.

Correlated-error monoculture.سه عامل یک مدل پایه را دارند. آنها همان پاسخ اشتباه را هالوسیون می دهند. اکثریت اشتباه است. BFT کلاسیک کمک نمی کند زیرا هر سه " صادقانه" موافق هستند.

پاسخ های سال 2025-2026

CP-WBFT(arXiv:2511.10400) اعتماد به نفس ثابت شده با وزن BFT. هر رای دهنده یک بررسی اعتماد به نفس را به پاسخ خود (احتمالی خود گزارش شده یا پیش بینی یک مدل کالیبریشن جداگانه) متصل می کند. وزن رای با اعتماد به نفس مقیاس می کند. گزارش شده +85.71% بهبود BFT در نمودار کامل. کاهش برای: مطابقت سیکوفانت (اعمال کنندگان مطابق تمایل دارند اعتماد به نفس کم در موقعیت داوطلبانه خود داشته باشند).

DecentLLMs(arXiv:2507.14928) بدون رهبر. عوامل کارگر در موازی پیشنهاد می کنند، عوامل ارزیابی کننده پیشنهادات را نمره می دهند، پاسخ نهایی میانگین هندسی موقعیت های نمره شده است. قوی زمانی که f < n/2. کاهش: دروغ بیزانسی و اشتباهات مرتبط (وسط جغرافیایی به شدت به نقاط غیر قابل توجهی متصل است و به سمت خوشه کثیف حرکت می کند، نه متوسط مبتنی بر مدل).

WBFT(arXiv:2505.05103) وزن BFT با گروه بندی ساختار سلسله مراتبی. وزن رای به لحاظ کیفیت پاسخ و همچنین نمره اعتماد آموخته شده از تاریخ اختصاص داده می شود. عوامل گروه بندی به هسته و کناره؛ عوامل هسته باید ابتدا به توافق برسند، عوامل کناره بعد از آن. کاهش برای: مقیاس پذیری (مجموعه توافق هسته کوچک و سریع است) و تا حدی برای مونوکلتور (کوره می تواند برای تنوع انتخاب شود).

تجربی: "آیا عوامل هوش مصنوعی موافقند؟" (arXiv:2603.01213)

کاغذ توافق مقیاس (اعمال LLM بر روی یک مقدار عددی واحد توافق می کنند) را در میان مدل های مرزی متعدد اندازه گیری می کند.

حتی اگر هیچ مخالف وجود نداشته باشد، نمایندگان LLM در مورد سوالات مقیاس با نرخ بالای 30٪ در بسیاری از معیارها مخالفند.
یک عامل که شخصیت فریبنده را اتخاذ می کند می تواند توافق مرکب عوامل را 40+ درصد از اصل صادقانه خارج کند.
نرخ اختلاف با تنوع مدل ارتباط دارد مجموعه های مختلف بیشتر از مجموعه های همگونی اختلاف دارند (خوب: خطا های غیر مرتبط) اما همچنین به سرعت تر حرکت می کنند (خوب: زمان طولانی تر توافق).

نکته: BFT به شما مکانیسم برای هماهنگی خروجی می دهد، اما به شما نمی گوید که خروجی هماهنگی درست است یا خیر. با تایید (فاز 16 · 08 تخصص نقش) ، تنوع (فاز 16 · 15 تغییرات بحث) و عوامل ارزیابی کننده (فاز 16 · 24 معیار) ترکیب کنید.

پروتکل اصلی، از دست داده شده

حداقل دور BFT برای نمایندگان LLM:

1. task arrives; each agent i produces answer a_i
2. each agent attaches confidence probe c_i in [0, 1]
3. aggregator collects (a_i, c_i) from all n agents
4. aggregator groups by semantic cluster (equivalent answers)
5. aggregator computes weight for each cluster C:
     w(C) = sum_{i in C} c_i
6. winner = cluster with max weight, if max > threshold * sum(c_i)
   else: retry or escalate
7. minority clusters logged with provenance for post-hoc audit

مرحله دسته بندی معنوی پیچ و جوی خاص LLM است. دو پاسخ "تدریس گزارش 4.2٪" و "بزایش 4.2٪" همان دسته هستند. یک بررسی ساده برابری رشته ای این را از دست می دهد. در تولید، از یک مدل گنجانده ارزان قیمت یا کانونیک سازی صریح استفاده کنید.

تنظیم حد

.thresholdپارامتر تصمیم می گیرد که چه زمانی قبول کنید و چه زمانی دوباره امتحان کنید. خیلی کم: شما اکثریت ضعیف را قبول می کنید. خیلی بالا: شما هیچ وقت چیزی را قبول نمی کنید. محدوده تجربی: 0.5-0.67 برای n=5-7عوامل، بالاتر برای کوچکتر n. زیر یک حد، به یک انسان یا به یک گروه عامل مختلف ارتفاع کنید

جایی که توافق کمک نمی کند

Ambiguous questions.اگه سوال بدون حقیقت اساسی باشه، توافق نظر است.
Compound questions."کد بنویس و توضیح بده" دو جواب.
Adversarial multi-round.اگر عوامل می توانند دور های قبلی را مشاهده و تقلید کنند (بحث دو 2023) ، آنها با یکدیگر بدون توجه به حقیقت شروع به توافق می کنند. دور های محدود (2-3 به طور معمول).

آن را بسازید

code/main.pyابزار:

AgentVoter یک سیاست نوشته شده با (جواب، اعتماد).
MajorityVote جمع بندی کلاسیک
CPWBFT رای گیری با اعتماد با گروه بندی معنوی.
DecentLLMs جمع بندی متوسط هندسی در پیشنهادهای امتیاز یافته
Scenario هر جمع کننده را تحت سه الگوی حمله اجرا می کند.

الگوهای حمله اجرا شده:

byzantine: يک مامور با اعتماد به نفس دروغ ميگه
sycophancy: يک مامور اولین جوابي که مي دونه رو با اعتماد به نفس مي کپي کنه
monoculture: سه عامل با اعتماد متوسط یک پاسخ اشتباه (خطای مرتبط) را به اشتراک می گذارند.

راه رفتن:

python3 code/main.py

تولید انتظار می رود: جدول (هجوم، جمع کننده) -> پاسخ نهایی، با پاسخ صحیح برجسته شده است. چندگی در مورد مونوکلتور شکست می خورد. وزن اعتماد CPWBFT سایکوفانس را کاهش می دهد. متوسط هندسی DECENTLLM به سمت خوشه صادق می کشد زمانی که مونوکلتور کمتر از نیمی از جمعیت است.

ازش استفاده کن

outputs/skill-consensus-designer.mdیک پروتکل اجماع برای یک مجموعه چند عامل را طراحی می کند: روش دسته بندی، وزن، حد و سیاست افزایش برای دور های زیر حد.

-باده

قبل از ارسال هر مکانیسم اجماع:

Attack-test with at least the three patternsپروتکل شما بايد به صورت قابل پيش بيني شکست بخوره نه به صورت خاموش
Log every minority clusterگروه های اقليتي سيستم هشدار زودرس شما براي اشتباهات مرتبط هستند
Enforce bounded rounds.نه "مطالعه تا توافق ادامه بده" که پاداش دادن به سکوفانسي رو بده
Separate agreement from correctness.تولید اجماع به یک تأیید کننده می رود؛ تأیید کننده مستقل از مجموعه است.
Monitor the agreement rate.افزایش شدید به معنای تعصب مطابق است؛ کاهش شدید به معنای حرکت مدل است.

تمرینات

فرار کنcode/main.py.آزاد بودن تایید شده حمله یک کشت را شکست می دهد اما CPWBFT به طور جزئی آن را کاهش می دهد وقتی اعتماد یک کشت کمتر از 0.7 باشد.
يه نقشه چهارم حمله رو اضافه کنsilent abstention یک نماینده از پاسخ دادن (من نمی دانم) انکار می کند. هر جمع کننده باید با خودداری ها چگونه رفتار کند؟ انتخاب خود را اجرا کنید.
تغییر گروه بندی معنوی از کنونیک سازی رشته به شبیه سازی ادغام (با استفاده از هر مدل ادغام منبع باز) چه اتفاقی برای حمله سیکوفانسی می افتد؟
CP-WBFT را بخوانید (arXiv:2511.10400). مرحله کالیبریشن اعتماد-ساند را اجرا کنید (یک مدل کالیبریشن جداگانه اعتماد خود را هر عامل گزارش می کند). افزایش دقت در سناریو مونوکلچر را اندازه گیری کنید.
"آیا عوامل هوش مصنوعی موافق هستند؟" را بخوانید (arXiv:2603.01213). یک آزمایش توافق مقیاس ساده را بازیافت کنید: سه عامل، یک سوال مقیاس، پرسشی فریبنده. آیا CPWBFT یا DecentLLMs آن را درک می کنند؟

اصطلاحات کلیدی

Term	What people say	What it actually means
BFT	"Byzantine fault tolerance"	Castro-Liskov 1999 protocol for consensus with `f < n/3` arbitrary faults.
Byzantine	"Any bad behavior"	A node that can lie, drop messages, fail silently — anything but crash safely.
Confidence probe	"How sure are you?"	Self-reported or calibrator-predicted probability attached to a vote.
Semantic clustering	"Same answer, different words"	Grouping equivalent answers before counting votes.
Geometric median	"Robust center"	The point minimizing sum of distances to sample points. Robust to outliers, unlike the mean.
Monoculture	"Same model, same failures"	Correlated errors when agents share training data or base model.
Sycophantic conformity	"Agreeing with the loud voice"	An agent's vote biases toward whoever spoke first/loudest.
Core/Edge	"Hierarchical BFT"	WBFT split: small Core consensus first, Edge nodes follow. Bounds latency.

خواندن بیشتر

Castro & Liskov — Practical Byzantine Fault Tolerance (OSDI 1999) بنیاد
CP-WBFT — Confidence-Probe Weighted BFT وزن رای با اعتماد
DecentLLMs — leaderless multi-agent consensus جمع بندی هندسی-وسط
WBFT — Weighted BFT with Hierarchical Structure Clustering تقسیم هسته/کوتاه برای تاخیر محدود
Can AI Agents Agree? شکنجه توافقات مقیاس و حمله شخصی فریبنده

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.