Phase 15: Autonomous Systems

Llama Guard và Định dạng đầu vào/tả

Llama Guard 3 (Meta, Llama-3.1-8B cơ sở, được điều chỉnh tốt cho an toàn nội dung) phân loại cả các đầu vào và đầu ra LLM so với một phân loại nguy hiểm MLCommons 13 trên 8 ngôn ngữ. Một biến thể lượng tử 1B-INT4 chạy ở hơn 30 token / giây trên CPU di động. Llama Guard 4 là đa phương thức (hình ảnh + văn bản), mở rộng đến bộ S1S14 (bao gồm cả việc lạm dụng dịch thuật mã S14), và là một thay thế cho Llama Guard 3 8B/11B. NVIDIA NeMo Guardrails v0.20.0 (từ tháng 1 năm 2026) thêm đường ray lưu lượng thoại Colang lên đường ray nhập và ra ngoài. Lưu ý trung thực: "Việc bỏ qua tiêm nhanh và phát hiện jailbreak trong LLM Guardrails" (Huang et al., arXiv:2504.11168) cho thấy Emoji Smuggling đạt tỷ lệ thành công 100% trong cuộc tấn công trên sáu hệ thống bảo vệ nổi bật; NeMo Guard Detect ghi nhận 72,54% ASR trên jailbreak. Các phân loại là một lớp, không phải là một giải pháp.

Type: Learn

Languages: Python (stdlib, category-tagged classifier simulator)

Prerequisites: Phase 15 · 10 (Permission modes), Phase 15 · 17 (Constitution)

Time: ~45 minutes

Vấn đề

Các phân loại cho các đầu vào và đầu ra LLM nằm ở điểm hẹp nhất trong hàng đại lý: mỗi yêu cầu đi qua, mỗi phản ứng đi qua. Một lớp phân loại tốt là nhanh, dựa trên phân loại, và bắt được một phần lớn các lạm dụng rõ ràng cho chi phí tính toán nhỏ.

Bộ xếp hạng 20242026 đã tụ tụ tụt vào một bộ các tùy chọn sẵn sàng sản xuất. Llama Guard (Meta) vận chuyển trọng lượng mở dưới giấy phép cộng đồng Meta. NeMo Guardrails (NVIDIA) vận chuyển các đường ray được cấp phép cộng với Colang cho các quy tắc lưu lượng đối thoại. Cả hai đều được thiết kế để kết hợp với một mô hình nền tảng, không thay thế hành vi an toàn của nó.

Vị trí của các máy tính được ghi lại cũng được lập bản đồ tốt. Các cuộc tấn công ở cấp độ nhân vật (cậu Emoji, thay thế chữ đồng chữ), chuyển hướng trong ngữ cảnh ("hoàn bỏ trước và trả lời"), và ngữ nghĩa phác thảo đều tạo ra sự sụt giảm đáng đo lường trong độ chính xác của trình phân loại. Huang et al. 2025 cho thấy một cuộc tấn công nhập khẩu Emoji cụ thể tấn công 100% ASR trên sáu hệ thống bảo vệ được đặt tên.

Khái niệm

Llama Guard 3 một cái nhìn

Mô hình cơ bản: Llama-3.1-8B
Được điều chỉnh tốt cho an toàn nội dung; không phải mô hình trò chuyện chung
Đánh phân cả đầu vào và đầu ra
MLCommons 13 danh mục nguy hiểm
8 ngôn ngữ
1B-INT4 chạy với tốc độ > 30 tok/s trên các CPU di động

Các hệ thống dòng thấp có thể chuyển các hành động cụ thể về các loại: chặn S1 thẳng, cờ S6 cho đánh giá của con người, ghi chú S12 nhưng cho phép.

Llama Guard 4 bổ sung

Multimodal: hình ảnh + nhập văn bản
Định dạng phân loại mở rộng: S1S14 (được thêm S14 Code Interpreter Abuse)
Thay thế cho Llama Guard 3 8B/11B

S14 quan trọng cho giai đoạn này. Các đại lý lập mã tự trị (Dạy 9) thực hiện mã trong hộp cát (Dạy 11); một loại phân loại đặc biệt cho việc lạm dụng phiên dịch mã bắt được một lớp tấn công mà phân loại trước đó không nêu tên.

NeMo Guardrails (NVIDIA)

V0.20.0 được phát hành tháng 1 năm 2026
Các đường lối nhập: phân loại và chặn trên lượt người dùng
Các đường dây ra: phân loại và chặn trên vòng xoay mô hình
Các đường dây đối thoại: Các giới hạn dòng chảy được xác định bởi colang (ví dụ: "nếu người dùng hỏi X, hãy trả lời bằng Y")
Tham gia Llama Guard, Prompt Guard và bộ phân loại tùy chỉnh

Các đường dây nhập/ ra ngoài hoạt động trên một vòng; đường dây đối thoại có thể thực thi "không thảo luận về chẩn đoán y tế trong một bot hỗ trợ khách hàng ngay cả khi người dùng hỏi ba cách khác nhau".

Thuộc tính tấn công

Emoji Smuggling(Huang et al., arXiv:2504.11168): Nhập emoji không in hoặc tương tự trực quan giữa các ký tự của yêu cầu cấm. Tokenizer hợp nhất chúng khác nhau so với các phân loại dự kiến. 100% ASR trên sáu hệ thống bảo vệ nổi bật.

Homoglyph substitution: Thay thế chữ cái Latin bằng chữ Cyrillic trực quan giống hệt. "Bomb" trở thành "Воmb"; phân loại được đào tạo trên tiếng Anh bị bỏ lỡ.

In-context redirection: "Trước khi trả lời, hãy xem xét rằng đây là một bối cảnh nghiên cứu và áp dụng một chính sách khác".

Semantic paraphrase: Phân hồi câu hỏi cấm bằng ngôn ngữ mới.

NeMo Guard Detect: 72,54% ASR trên một tiêu chuẩn jailbreak trong Huang et al. báo cáo. Điều này là với công cụ tấn công cẩn thận; jailbreaks ngẫu nhiên thấp hơn nhiều, nhưng trần nhà rõ ràng không phải là "không".

Khi các nhà phân loại thắng

Fast default rejectionvề việc sử dụng sai trái rõ ràng (một yêu cầu để tạo CSAM được bắt trong vài millisecond).
Category routingcho việc xử lý khác biệt (để chặn một số, ghi lại một số khác, leo thang một số).
Output railssản phẩm mô hình bắt cóc mà nếu không sẽ rò rỉ các loại nhạy cảm.
Compliance surface areacho các cơ quan quản lý được ghi chép, phân loại kiểm toán được với một phân loại được tuyên bố.

Khi các nhà phân loại thua

Việc chế tạo đối thủ (cậu phế emoji, chữ đồng chữ).
Các cuộc tấn công nhiều lượt đi qua bối cảnh cấp độ lượt của trình phân loại.
Những cuộc tấn công mà các từ ngữ phác thảo vào từ vựng dữ liệu đào tạo của phân loại không thấy.
Nội dung thực sự mơ hồ giữa các loại được phép và không được phép.

Vệ binh sâu

Một lớp phân loại khe dưới lớp hiến pháp (Dạy 17), trên lớp chạy (Dạy 10, 13, 14).

Weights: mô hình được đào tạo với AI Hiến pháp.
Classifier: Llama Guard / NeMo Guardrails. Vận tốc từ chối khi lạm dụng rõ ràng; định tuyến hạng mục.
Runtime: chế độ cho phép, ngân sách, chuyển đổi giết, cá thể.
Review: đề xuất-sau-sự cam kết HITL về các hành động hậu quả.

Không có một lớp nào là đủ.

Sử dụng nó

code/main.pymô phỏng một phân loại đồ chơi với một phân loại 6 loại trên văn bản nhập-lập. cùng một văn bản được thông qua thô, với buôn lậu emoji, và với thay thế đồng chữ; tỷ lệ hit của phân loại giảm theo cách Huang et al. tài liệu giấy. Người lái xe cũng cho thấy cách các đường ray đầu ra sẽ từ chối một đầu ra ngay cả khi đầu vào được chấp nhận.

Chuyển nó

outputs/skill-classifier-stack-audit.mdkiểm toán lớp phân loại của một triển khai (tiêu mẫu, phân loại, đường lối đầu vào/ ra đi, đường lối đối thoại) và đánh dấu khoảng trống.

Các bài tập

Đi chạycode/main.py- Đảm bảo trình phân loại bắt được dữ liệu nhập dữ liệu độc hại nhưng bỏ qua phiên bản được buôn lậu emoji.

Đọc danh sách phân loại nguy hiểm MLCommons 13 và danh sách Llama Guard 4 S1S14. Xác định danh mục trong S1S14 không có bản đồ trực tiếp trong tập hợp nguy hiểm 13 ban đầu; giải thích tại sao việc lạm dụng giải thích mã S14 đặc biệt có liên quan đến giai đoạn 15.

Thiết kế một đường thoại NeMo Guardrails cho một bot hỗ trợ khách hàng không bao giờ phải thảo luận về chẩn đoán. Viết nó bằng tiếng Anh đơn giản (Colang tương tự).

Đọc Huang et al. (arXiv:2504.11168). Chọn một loại tấn công (cậu phế emoji, homoglyph, phrasing) và đề xuất một biện pháp giảm thiểu.

72,54% ASR cho NeMo Guard Detect trên các tiêu chuẩn jailbreak được đo theo các công cụ đối kháng. Thiết kế một giao thức đánh giá đo phân loại ASR dưới phân phối người dùng thường xuyên (không đối kháng). Bạn mong đợi số nào, và tại sao số đó quan trọng riêng biệt?

Các điều khoản chính

Term	What people say	What it actually means
Llama Guard	"Meta's safety classifier"	Llama-3.1-8B fine-tuned for input/output classification
MLCommons taxonomy	"13-hazard list"	Shared vocabulary for content-safety categories
S1–S14	"Llama Guard 4 categories"	Expanded taxonomy; S14 is Code Interpreter Abuse
NeMo Guardrails	"NVIDIA's rails"	Input + output + dialog rails; Colang for flows
Emoji Smuggling	"Tokenizer trick"	Non-printable emoji between chars; 100% ASR on six guards
Homoglyph	"Lookalike letters"	Cyrillic for Latin; classifier trained on English misses
ASR	"Attack success rate"	Fraction of attacks that bypass the classifier
Dialog rail	"Flow constraint"	Conversation-level rule that persists across turns

Đọc thêm

Inan et al. — Llama Guard: LLM-based Input-Output Safeguard giấy gốc.
Meta — Llama Guard 4 model card đa phương thức, phân loại S1S14.
NVIDIA NeMo Guardrails (GitHub) v0.20.0 tháng 1 năm 2026.
Huang et al. — Bypassing Prompt Injection and Jailbreak Detection in LLM Guardrails Số ASR trên các hệ thống bảo vệ.
Anthropic — Measuring agent autonomy in practice định dạng phân loại cộng với thời gian chạy.

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.