Phase 16: Multi-Agent & Swarms

Các tác nhân tạo và mô phỏng mới nổi

Type: Learn + Build

Languages: Python (stdlib)

Prerequisites: Phase 16 · 04 (Primitive Model), Phase 16 · 13 (Shared Memory)

Time: ~75 minutes

Vấn đề

Hầu hết các hệ thống đa đại lý là các nhóm được viết chặt chẽ: kế hoạch lập kế hoạch, mã lập trình, đánh giá của nhà đánh giá. Điều đó hoạt động cho các nhiệm vụ được xác định rõ ràng. Nó không nắm bắt hành vi nổi lên, không được viết ra khi các đại lý có bộ nhớ, ưu tiên và một thế giới mở. Nghiên cứu, mô phỏng xã hội và ngày càng nhiều AI trò chơi cần loại thứ hai này.

Thiết kế Smallville là điểm chuẩn cho nó. Cho đến Park 2023, các mô phỏng đại lý tốt nhất là người theo kịch bản nông; sau đó, mô hình là mặc định cho các đại lý tạo trong thế giới mở. Nếu bạn xây dựng mô phỏng đại lý vào năm 2026, bạn hoặc sử dụng ba thành phần của Smallville hoặc biện minh rõ ràng tại sao bạn không.

Khái niệm

Ba thành phần

Memory stream.Một nhật ký chỉ có phụ lục về quan sát, hành động, suy nghĩ và kế hoạch. Mỗi mục có dấu thời gian, loại, mô tả (ngôn ngữ tự nhiên) và siêu dữ liệu bắt nguồn:recency- importance(đánh giá 1-10 của đại lý), và relevance(có sự tương đồng với truy vấn hiện tại).

Copy[2026-02-14 09:12:03] observation: Isabella Rodriguez asked me if I like jazz
[2026-02-14 09:14:22] reflection:   I enjoy long conversations about music
[2026-02-14 10:05:00] plan:         Attend Isabella's Valentine's Day party tonight

Tận dụng trí nhớ kết hợp ba điểm:score = w_recency e^(-decay age) + w_importance importance + w_relevance cos_sim. mục đầu k nhập vào lệnh hiện tại.

Reflection.Chuẩn bị (mỗi N ký ức hoặc trên các sự kiện quan trọng), đại lý tạo ra tổng hợp thứ tự cao hơn từ ký ức gần đây. Các mục phản ánh trở lại dòng chảy và có thể lấy lại như bất kỳ ký ức nào khác. Đây là cách đại lý xây dựng "sự hiểu biết"

Plan.Sự phân hủy từ trên xuống. Đầu tiên, một kế hoạch cấp ngày trong các đoạn rộng ("đi làm việc, ăn tối với Klaus"). Sau đó là kế hoạch cấp giờ. Sau đó là kế hoạch cấp hành động.

Tại sao cả ba đều quan trọng (bỏ)

Park et al. chạy các ablation giảm từng quan sát, suy nghĩ và kế hoạch.

• Không cóobservationĐại lý bỏ qua bối cảnh và hành động dựa trên niềm tin cũ.
• Không córeflectionngười đại lý không thể hình thành niềm tin cấp cao; sự tương tác vẫn nông cạn.
• Không cóplanhành vi trở thành tiếng ồn phản ứng; mục tiêu bị phân tán.

Điểm tin cậy từ các điểm đánh giá của con người là cao nhất với cả ba; giảm bất kỳ một sản xuất một sự lùi đo lường.

Sự xuất hiện của Ngày Valentine

Một đại lý, Isabella Rodriguez, được gieo với mục tiêu "cần tổ chức một bữa tiệc ngày Valentine tại Hobbs Cafe vào ngày 14 tháng 2 lúc 5 giờ chiều".

1. Kế hoạch của Isabella bao gồm mời mọi người.
2. Mỗi lời mời trở thành một quan sát trong dòng nhớ của người hàng xóm.
3. Nhìn lại của người hàng xóm đó tạo ra niềm tin: "Isabella đang tổ chức một bữa tiệc".
4. Kế hoạch của hàng xóm bao gồm "đang tham dự bữa tiệc vào ngày 14 tháng 2".
5. Hàng xóm nói với hàng xóm khác.
6. Vào lúc 5 giờ tối ngày 14 tháng 2, một số nhân viên tụ họp tại quán cà phê Hobbs.

Đây là sự xuất hiện theo nghĩa kỹ thuật: hành vi cấp hệ thống (một đảng) phát sinh từ các tương tác địa phương (cý nghị song phương + lập kế hoạch cá nhân) mà không có một dàn nhạc trung tâm.

Các chế độ thất bại được ghi nhận

Park et al. ghi rõ ràng:

• Spatial norm errors.Các đại lý đi vào các cửa hàng đóng cửa. Các đại lý cố gắng sử dụng cùng một phòng tắm một người. Các đại lý ăn trong các phòng không dành cho ăn. Mô hình không suy luận các quy tắc xã hội-physical chỉ từ môi trường.
• Memory overflow.Các hoạt động mô phỏng sâu gây ra chi phí thu hồi bộ nhớ tăng lên.
• Reflection hallucination.Nhận phản xạ có thể phát minh ra các mối quan hệ không tồn tại trong dòng lưu trữ.

Đây là các chế độ thất bại liên quan đến sản xuất: bất kỳ mô phỏng đại lý nào năm 2026 thừa kế chúng.

Quy tắc thực hiện ba thành phần

1. Memory is append-only.Đừng bao giờ biến đổi một mục trong bộ nhớ.
2. Importance scores are cheap.Hãy gọi cho trường đại học để đánh giá tầm quan trọng 1-10 vào thời điểm viết.
3. Retrieval is ranked, not filtered.Top-k theo điểm kết hợp; không sử dụng bộ lọc cứng (mà mất ngữ cảnh).
4. Reflection runs periodically.Trigger khi tổng số trọng lượng của các ký ức chưa được xử lý vượt quá ngưỡng (ví dụ: 150).
5. Plans are revisable.Khi một quan sát mới mẻ mâu thuẫn với một kế hoạch, chỉ tái tạo phần bị ảnh hưởng, không phải toàn bộ kế hoạch.

Các đại lý tạo ra ngoài Smallville

Văn học tiếp theo 2024-2026 mở rộng kiến trúc:

• Multi-agent social simulation for policy / market research.Các nhóm người giống như Smallville mô phỏng hành vi của người dùng để đáp ứng các tính năng.
• NPC AI for games.Các trò chơi RPG với các đại lý Smallville tạo ra các câu chuyện mới nổi thay vì các nhiệm vụ kịch bản.
• Generative-agent evaluation benchmarks.Thay vì chính xác nhiệm vụ, số liệu trở thành khả năng tin cậy + sự liên kết của hành vi trong các thời gian dài.

Kiến trúc là tham chiếu. Các phần mở rộng thay đổi thành phần (khám vector lưu trữ cho bộ nhớ, phản xạ tăng cường lấy, kế hoạch thần kinh) nhưng giữ lại cấu trúc ba phần.

Tại sao điều này quan trọng đối với kỹ thuật đa đại lý

Smallville là bằng chứng về khái niệm rằng sự xuất hiện của nhiều đại lý rẻ khi các thành phần đúng. Kiến trúc đã được sao chép trên các mô hình nguồn mở (LLC nhỏ hơn mất tính đáng tin cậy một cách đẹp trai, không phải sắc bén). Bất kỳ hệ thống sản xuất nào cần emergent social behaviorsử dụng hình dạng này.tight task executionsử dụng các mô hình giám sát viên / vai trò / nguyên thủy từ trước trong giai đoạn này.

Hãy xây dựng nó

code/main.pythực hiện ba thành phần trong stdlib Python với chính sách đại lý kịch bản (không có LLM thực sự).

• MemoryStream chỉ thêm log với tính gần đây/sự quan trọng/sự liên quan.
• reflect(stream) Nhận xét kịch bản về những kỷ niệm quan trọng gần đây.
• plan(agent_state) kế hoạch cấp ngày và cấp giờ dựa trên niềm tin hiện tại.
• Kịch bản: 5 nhân viên, nhân viên 1 bắt đầu với "thay bữa tiệc vào 5 giờ chiều".

Đi chạy:

Copypython3 code/main.py

Kết quả dự kiến: dấu vết tick-by-tick. Khi tick cuối cùng, ít nhất 3 trong số 5 đại lý cho thấy đảng trong kế hoạch của họ, và họ hội tụ tại địa điểm của đảng.

Sử dụng nó

outputs/skill-simulation-designer.mdthiết kế mô phỏng đại lý tạo: số lượng đại lý, sơ đồ bộ nhớ, độ phản xạ, chân trời kế hoạch và métrics đánh giá.

Chuyển nó

Quy tắc đối với mô phỏng sản xuất:

• Memory is the database.Chọn một cửa hàng thực sự (vector DB, Postgres) trên quy mô.
• Log the retrieval trace.Với mỗi hành động, ghi lại những ký ức dẫn đến nó.
• Budget per-agent tokens.Các đại lý lấy + phản xạ + kế hoạch mỗi tick là O(k) LLM cuộc gọi. N đại lý × T ticks × cuộc gọi-per-tick có thể làm nhỏ bé ngân sách của bạn.
• Compact memory periodically.Kết luận và cắt giảm các mục có tầm quan trọng thấp. Chính sách giữ lại là một quyết định thiết kế, không phải là chi tiết.
• Detect spatial / social norm violationskiến trúc không học được chúng.

Các bài tập

1. Đi chạycode/main.py- Đảm bảo 3 nhân viên hợp nhất tại bữa tiệc.
2. Làm thế nào để hành vi trông giống như? Bản đồ đến phát hiện của ablation trong Park 2023.
3. Hãy giới thiệu một mục tiêu được gieo giống cạnh tranh ("Klaus muốn nói chuyện nghiên cứu vào 5 giờ chiều").
4. Thêm những hạn chế không gian: Hobbs Cafe có tối đa 4 đại lý. Máy cầm mô phỏng tràn đầy sự hào nhoáng, hoặc nó chạm vào mô hình thất bại "tắm một người"?
5. Đọc Park et al. (arXiv:2304.03442) Phần 6 (Các thí nghiệm hành vi mới nổi).

Các điều khoản chính

Đọc thêm

• Park et al. — Generative Agents: Interactive Simulacra of Human Behavior kiến trúc tham chiếu
• UIST '23 paper page địa điểm xuất bản
• Smallville code release thực hiện Python tham chiếu
• Hayes-Roth 1985 — A Blackboard Architecture for Control nghệ thuật trước đây cho các đại lý bộ nhớ có cấu trúc

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.