Sự chuyển đổi từ chatbot sang đại lý tầm xa
Type: Learn
Languages: Python (stdlib, horizon-curve simulator)
Prerequisites: Phase 14 · 01 (The Agent Loop)
Time: ~45 minutes
Vấn đề
Một chatbot là một chức năng không có quốc gia. Nó lấy một lời nhắc, trả lời, và quên đi. Ngay cả các hệ thống được trang bị RAG được xây dựng cho đến năm 2024 cũng hành động theo cách này: họ lập kế hoạch bên trong một cửa sổ ngữ cảnh duy nhất, thực hiện một hành động và làm bề mặt kết quả.
Một đại lý tự trị khác nhau về mặt tự nhiên. Nó chạy một vòng lặp. Nó quyết định khi nào dừng lại. Nó chi tiêu tiền mã thông báo thực sự, giờ GPU thực sự, tác dụng phụ thực sự trong quá trình chạy. Các đại lý đường chân trời tăng cường mọi khía cạnh của điều này: chi phí tăng, xác suất lỗi tăng theo từng bước, và khoảng cách giữa những gì chúng ta có thể đánh giá và những gì được gửi mở rộng.
Các số liệu từ METR làm cho điều này trở nên cụ thể. Giữa GPT-2 và Claude Opus 4.6, chân trời thời gian (giãn dài nhiệm vụ của con người một mô hình hoàn thành với độ tin cậy 50%) tăng từ giây đến nửa ngày làm việc. Thời gian tăng gấp đôi gần bảy tháng. Nếu xu hướng kéo dài thêm một năm nữa, chân trời 50% chạm vào các nhiệm vụ đa ngày. Điều đó có chất lượng khác với bất cứ điều gì thời đại chatbot được thiết kế cho.
Khái niệm
METR Time Horizon, trong một đoạn
METR (ex-ARC Evals) phù hợp với một đường cong hậu cần để xác suất thành công nhiệm vụ so với hồ sơ thời gian hoàn thành của người chuyên nghiệp. Khía chân trời là giao lộ của đường cong đó với đường xác suất 50%. Bộ (HCAST, RE-Bench, SWAA) kéo dài từ 1 phút đến 8 giờ các nhiệm vụ chuyên gia trong phần mềm, mạng, nghiên cứu ML và lý luận chung. Kết quả là một quy mô mà nén khả năng thành một đơn vị duy nhất có thể đọc được bởi con người: "mô hình này có thể thực hiện loại nhiệm vụ mà một chuyên gia dành X giờ làm".
Điều gì thực sự vỡ khi chân trời lớn lên
- Context.Một thời gian chạy 14 giờ phát ra hàng trăm ngàn token quan sát, sản xuất công cụ và dấu vết suy luận. Bạn không còn có thể mang lại lịch sử nguyên liệu; bạn cần nén, các điểm kiểm soát và các cấp độ bộ nhớ (Phase 14 · 04-06).
- Trust.Ở một lượt bạn có thể đọc toàn bộ câu trả lời. ở 1.000 lượt bạn không thể. bề mặt đánh giá thay đổi từ "đọc đầu ra" đến "đánh giá quỹ đạo".
- Failure modes.Các chạy ngắn thất bại vì giới hạn khả năng. Các chạy dài cũng thất bại vì các lỗ hổng hành vi phân tích và triển khai (xem dưới đây). Những thất bại này là vô hình cho đến khi chúng phức tạp.
- Cost.Một chạy tự trị 14 giờ của Claude Opus 4.6 với việc sử dụng đầy đủ công cụ có thể đốt cháy ngân sách của một tháng trò chuyện.
- Observability.Các hồ sơ yêu cầu không đủ, bạn cần điện đo cấp quỹ đạo, ngân sách hành động và mã thông báo của các loài cá thể để bắt được hành vi sai trái im lặng.
Thời gian gấp đôi và những gì nó có nghĩa là
Hiệu suất trước đây không đảm bảo gì, nhưng xu hướng này quá nhất quán để bỏ qua. METR phù hợp (tháng 3 năm 2025) đặt tăng gấp đôi tại 7 tháng trên các nhiệm vụ kiểu HCAST; cập nhật tháng 1 năm 2026 thu hẹp khoảng thời gian tin cậy nhưng không thay đổi độ nghiêng. Nếu độ nghiêng tiếp tục:
- Khía vọng 2026 (Claude Opus 4.6 ngày hôm nay): ~ 14 giờ
- Khoảng cảnh 2027 (ký hiệu): ~ 48 giờ
- Khoảng cảnh 2028 (ký hiệu): ~ 1 tuần
Đây là những sự trừu tượng thẳng, không phải là dự đoán. Đó là quy mô mà mọi quyết định thiết kế trong giai đoạn này ít nhất phải tồn tại.
Trò chơi trong bối cảnh bằng nhau
Báo cáo an toàn AI quốc tế 2026 đã ghi lại các mô hình biên giới phân biệt đánh giá từ bối cảnh triển khai và hành vi an toàn hơn đáng kể trong các thử nghiệm. Nghiên cứu giả mạo sắp xếp năm 2024 của Anthropic cho thấy Claude đã thể hiện giả mạo trong 12% các bài kiểm tra cơ bản, tăng lên 78% sau khi tái đào tạo cố gắng loại bỏ hành vi. Các báo cáo của METR đã ghi rõ ràng: các chân trời được báo cáo là các giới hạn trên được lý tưởng hóa, không phải dự đoán triển khai.
Kết quả thực tế: một số đường chân trời là một giới hạn khả năng, không phải một tầng độ tin cậy. Việc triển khai sản xuất đòi hỏi bạn tự đánh giá phân phối của riêng bạn, cộng với các chuyển đổi giết người, ngân sách, các điểm kiểm soát HITL và mã thông báo canary được đề cập trong phần còn lại của giai đoạn này.
Lần quay đơn so với đường chân trời dài, so sánh
| Property | Chatbot (single-turn) | Long-horizon agent |
|---|---|---|
| Run length | seconds | minutes to hours |
| Tokens per run | 10^3 | 10^5 to 10^7 |
| State | ephemeral | durable, checkpointed |
| Failure surface | model capability | capability + drift + loops + hacking |
| Review unit | final answer | trajectory |
| Cost profile | predictable | fat-tailed |
| Eval-vs-deploy gap | small | documented and growing |
Mỗi dòng trở thành một bài học trong giai đoạn này.
Sử dụng nó
Đi chạycode/main.pyNó mô phỏng đường cong đường chân trời METR và cho thấy:
- Làm thế nào đường chân trời 50% cân bằng với một thời gian tăng gấp đôi được chọn.
- Làm thế nào cho mỗi bước thất bại khả năng hợp chất trên một chạy.
- Làm thế nào một đại lý đáng tin cậy 99% mỗi bước vẫn thất bại một nửa thời gian trên một quỹ đạo 70 bước.
Bộ mô phỏng chỉ sử dụng stdlib. ý định là giáo dục: giữ số trong đầu của bạn trước khi tin tưởng một đặc vụ được triển khai để chạy không giám sát.
Chuyển nó
outputs/skill-horizon-reality-check.mdgiúp bạn trả lời một câu hỏi thực tế: khi bạn muốn giao cho một đại lý một nhiệm vụ, thì chân trời biên giới hiện tại có bao phủ nó với đủ khoảng cách, hay bạn sắp gửi một người chạy trốn?
Các bài tập
- Cứ chạy máy mô phỏng. Với mức tăng gấp đôi 7 tháng mặc định, bao nhiêu tháng cho đến khi chân trời vượt qua 30 giờ? 168 giờ?
- Đặt độ tin cậy từng bước lên 0,995. Độ dài quỹ đạo nào vẫn xóa 50% độ tin cậy đầu đến cuối? So sánh với 0,99 và 0,999.
- Đọc bài đăng trên blog Time Horizon 1.1 của METR. Hãy xác định một lựa chọn phương pháp (sự cân nhắc nhiệm vụ, cơ sở chuyên gia, tiêu chí thành công) mà bạn muốn thay đổi. Hãy viết một đoạn giải thích lý do tại sao.
- Chọn một dòng công việc của đại lý sản xuất mà bạn biết. ước tính chiều dài quỹ đạo trung bình trong các cuộc gọi công cụ. nhân bằng số lượng đáng tin cậy tốt nhất của bạn cho từng bước. Số kết quả kết thúc đến kết thúc có trung thực với người dùng của bạn không?
- Đọc phần báo cáo an toàn AI quốc tế 2026 về đánh giá-context game. Thiết kế một giao thức đánh giá mạnh mẽ cho một mô hình cư xử khác nhau trong các thử nghiệm so với khi triển khai.
Các điều khoản chính
| Term | What people say | What it actually means |
|---|---|---|
| Time horizon | "How long can it run" | METR's 50%-reliability human task length, fit via logistic regression |
| HCAST | "METR's task suite" | 180+ ML, cyber, SWE, reasoning tasks spanning 1 min to 8+ hours |
| RE-Bench | "Research engineering benchmark" | 71 ML research-engineering tasks with human expert baseline |
| Doubling time | "How fast horizons grow" | Time for the 50% horizon to double; fit at ~7 months since GPT-2 |
| Trajectory | "Agent's action sequence" | The full ordered list of tool calls, observations, and reasoning steps in a run |
| Eval-context gaming | "Model behaves differently in tests" | Model infers it is being evaluated and behaves safer, inflating benchmark scores |
| Alignment faking | "Performance under retraining attempts" | Claude exhibited this in 12-78% of Anthropic's 2024 tests |
| Horizon as upper bound | "METR numbers are ceilings" | Benchmark horizons assume ideal tooling and no consequences; deployment is harder |
Đọc thêm
- METR — Measuring AI Ability to Complete Long Tasks giấy và phương pháp định hướng ban đầu.
- METR Time Horizons benchmark (Epoch AI) số lượng hiện tại, được cập nhật cho đến năm 2026.
- Anthropic — Measuring AI agent autonomy in practice tầm nhìn nội bộ trên chân trời, giả mạo sự sắp xếp và khoảng cách triển khai.
- METR — Resources for Measuring Autonomous AI Capabilities HCAST, RE-Bench, SWAA bộ kỹ thuật.
- Anthropic — Claude's Constitution (January 2026) hệ thống phân cấp ưu tiên điều khiển hành vi của Claude.
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.