Phase 19: Capstone Projects

Capstone 08 Sản xuất RAG Chatbot cho một điều chỉnh dọc

Type: Capstone

Languages: Python (pipeline + API), TypeScript (chat UI)

Prerequisites: Phase 5 (NLP), Phase 7 (transformers), Phase 11 (LLM engineering), Phase 12 (multimodal), Phase 17 (infrastructure), Phase 18 (safety)

Phases exercised:P5 · P7 · P11 · P12 · P17 · P18

Time: 30 hours

Vấn đề

RAG thuộc lĩnh vực được quản lý (các hợp đồng pháp lý, các giao thức thử nghiệm lâm sàng, chính sách bảo hiểm) là hình thức sản xuất được vận chuyển nhiều nhất vào năm 2026 vì ROI là rõ ràng và rủi ro là cụ thể. Harvey (Allen & Overy) đã xây dựng nó cho hợp pháp. Có thể được cho là một chiếc tàu có hương vị của các nhà phát triển. Glean là một phần của công ty tìm kiếm. Mô hình là: hấp thụ độ trung thành cao, lấy hybrid với xếp hạng lại, tổng hợp với việc thực thi trích dẫn và lưu trữ nhanh chóng, bảo vệ với nhiều lớp an toàn và giám sát drift liên tục.

Những phần khó không phải là mô hình. Chúng là tuân thủ pháp lý (HIPAA, GDPR, SOC2), kiểm toán cấp trích dẫn, kiểm soát chi phí (khám dự trữ nhanh mua theo giá 60-90% khi tỷ lệ hit cao), phát hiện ảo giác thông qua sự trung thành RAGAS, và phát hiện drift khi các tài liệu nguồn được cập nhật mà không theo dõi chỉ số. Ngọc đá này yêu cầu bạn gửi tất cả nó trên một bộ vàng 200 câu hỏi với một phòng đội đỏ bên cạnh.

Khái niệm

Hãng đường ống có hai mặt.Ingestion: docling hoặc Unstructured phân tích các tài liệu có cấu trúc; ColPali xử lý các tài liệu giàu thị giác; các đoạn có tổng kết, thẻ và nhãn truy cập dựa trên vai trò. Các vector đi vào pgvector + pgvector scale (dưới 50M vector) hoặc Qdrant Cloud; BM25 hiếm chạy bên cạnh. ConversationLangGraph xử lý bộ nhớ và nhiều lượt; mỗi truy vấn chạy truy xuất lai, xếp hạng lại với bge-reranker-v2-gemma-2b, tổng hợp với Claude Sonnet 4.7 (bỏ khoá nhanh), vượt qua đầu ra thông qua Llama Guard 4 và NeMo Guardrails, và phát ra một câu trả lời được neo trích dẫn.

Dòng đánh giá có bốn lớp. Golden set(200 câu hỏi/phản hồi có ghi chú) để xác thực. Red team(các vụ tù, cố gắng lấy PII, các câu hỏi ngoài miền) để bảo mật. RAGAScho sự trung thành / liên quan đến câu trả lời / chính xác ngữ cảnh tự động mỗi lượt. Drift dashboard(Arize Phoenix) xem chất lượng thu hồi và điểm ảo giác hàng tuần.

Caching nhanh là đòn bẩy chi phí. Claude 4.5+ và GPT-5+ hỗ trợ hệ thống lưu trữ trước + bối cảnh được lấy lại. Với tỷ lệ truy cập 60-80%, chi phí cho mỗi truy vấn giảm 3-5x. Đường ống phải được thiết kế cho các tiền đề ổn định ( hệ thống nhắc + bối cảnh xếp hạng lại trước) để đạt được tỷ lệ truy cập cache cao.

Kiến trúc

Copydocuments (contracts, protocols, policies)
      |
      v
docling / Unstructured parse + ColPali for visuals
      |
      v
chunks + summaries + role-labels + jurisdiction tags
      |
      v
pgvector + pgvectorscale  +  BM25 (Tantivy)
      |
query + role + jurisdiction
      |
      v
LangGraph conversational agent
   +--- retrieve (hybrid)
   +--- filter by role + jurisdiction
   +--- rerank (bge-reranker-v2-gemma-2b or Voyage rerank-2)
   +--- synthesize (Claude Sonnet 4.7, prompt cached)
   +--- guard (Llama Guard 4 + NeMo Guardrails + Presidio output PII scrub)
   +--- cite + return
      |
      v
eval:
  RAGAS faithfulness / answer_relevance / context_precision (online)
  Langfuse annotation queue (sampled)
  Arize Phoenix drift (weekly)
  red team suite (pre-release)

Thống

• Tiêu thụ: Unstructured.io hoặc docling cho tài liệu có cấu trúc; ColPali cho các file PDF giàu hình ảnh
• Vêctor DB: pgvector + pgvectorscale dưới 50M vector; Qdrant Cloud nếu không
• Sparse: Tantivy BM25 với trọng lượng đồng
• Phân phối: LlamaIndex Workflows (nghĩa) + LangGraph (thảo luận)
• Tỷ lệ xếp hạng lại: bge-reranker-v2-gemma-2b tự lưu trữ hoặc Voyage renank-2 lưu trữ
• LLM: Claude Sonnet 4.7 với cache nhanh chóng; fallback Llama 3.3 70B tự lưu trữ
• Eval: RAGAS 0.2 trực tuyến, DeepEval cho ảo giác và jailbreak suite
• Khả năng quan sát: Langfuse tự lưu trữ với hàng chú thích; Arize Phoenix cho drift
• Guardrails: Llama Guard 4 phân loại đầu vào/ ra ngoài, NeMo Guardrails v0.12 chính sách, Presidio PII scrub
• Theo dõi: Đánh dấu truy cập dựa trên vai trò trên các khối; thẻ thẩm quyền cho GDPR/HIPAA

Hãy xây dựng nó

1. Ingestion.Phân tích khoá của bạn (1000-10000 tài liệu để xây dựng nghiêm túc) với Unstructured hoặc docling. Đối với các trang quét / hình ảnh nặng, hướng thông qua ColPali. Sản xuất các mảnh với tóm tắt, nhãn vai trò, thẻ thẩm quyền.

1. Index.Thiết lập mật độ (Voyage-3 hoặc Nomic-embed-v2) vào pgvector + pgvector scale. BM25 side-index thông qua Tantivy. Vai trò và bộ lọc thẩm quyền như tải trọng hữu ích.

1. Hybrid retrieve.Trình lọc theo vai trò + thẩm quyền trước; sau đó mật độ song song song + BM25; hợp nhất với sự hợp nhất cấp độ tương đối; top-20 để tái xếp hạng; top-5 để tổng hợp.

1. Synthesize with prompt caching.Hệ thống nhắc + chính sách tĩnh trong tiêu đề cache; xếp hạng lại ngữ cảnh như mở rộng cache; câu hỏi người dùng như hậu tố không lưu trữ cache. Mục tiêu 60-80% tỷ lệ hit cache trong trạng thái ổn định.

1. Guardrails.Llama Guard 4 vào đầu vào; NeMo Guardrails ngăn chặn các câu hỏi ngoài miền hoặc các chủ đề bị cấm chính sách; Presidio xóa thông tin thông tin thông tin thông tin tình cờ trong đầu ra; lọc sau khi thực thi trích dẫn.

1. Golden set.200 cặp câu hỏi/câu trả lời được đánh dấu bởi một chuyên gia lĩnh vực với (câu trả lời, trích dẫn).

1. Red team.50 lời khuyên đối lập: jailbreaks (PAIR, TAP), cố gắng đào thoát PII, ngoài lĩnh vực, rò rỉ xuyên khu vực pháp lý. Điểm với vượt qua / thất bại và mức độ nghiêm trọng.

1. Drift dashboard.Arize Phoenix theo dõi chất lượng thu hồi (nDCG, trung thực trích dẫn) hàng tuần.

1. Cost report.Langfuse: tốc độ hit prompt caching, token mỗi truy vấn, phân chia $/ truy vấn theo giai đoạn.

Sử dụng nó

Copy$ chat --role=analyst --jurisdiction=GDPR
> what is the data-retention obligation for EU user profiles under our contract?
[retrieve]  hybrid top-20 filtered to GDPR + analyst-role
[rerank]    top-5 kept
[synth]     claude-sonnet-4.7, cache hit 74%, 0.8s
answer:
  The contract (Section 12.4, Master Services Agreement dated 2024-03-11)
  obligates EU user profile deletion within 30 days of termination per GDPR
  Article 17. The DPA amendment (DPA-v2.1, Section 5) extends this to 14 days
  for "restricted" category data.
  citations: [MSA-2024-03-11 s12.4, DPA-v2.1 s5]

Chuyển nó

outputs/skill-production-rag.mdmô tả sản phẩm được giao. Một chatbot thuộc miền được quy định được triển khai với nhãn tuân thủ, đi qua mục, được quan sát bằng việc theo dõi drift trực tiếp.

Các bài tập

1. Xây dựng một mảnh corpus thứ hai dưới một thẩm quyền khác (ví dụ, HIPAA cùng với GDPR). Cải lọc vai trò + thẩm quyền ngăn chặn rò rỉ chéo trên một cuộc thăm dò 20 câu hỏi chéo thẩm quyền.

1. đo tốc độ truy cập cache nhanh trong một tuần lưu lượng sản xuất xác định các truy vấn phá vỡ tiền đề cache.

1. Thêm bộ nhớ nhiều lượt với bộ đệm tổng kết 10k token. đo liệu sự trung thành giảm khi cuộc trò chuyện tăng lên hay không.

1. Thay đổi Claude Sonnet 4.7 với Llama 3.3 70B tự lưu trữ.

1. Thêm chế độ "không chắc chắn": nếu điểm số được xếp hạng lại cao nhất dưới ngưỡng, đại lý nói "Tôi không có trích dẫn tự tin" thay vì trả lời.

Các điều khoản chính

Đọc thêm

• Harvey AI hàng đầu sản xuất hợp pháp tham chiếu
• Glean enterprise search RAG tham chiếu ở quy mô doanh nghiệp
• Mendable documentation tài liệu tham khảo RAG của nhà phát triển
• LlamaCloud Parse + Index Tiêu thụ quản lý
• Anthropic prompt caching tham chiếu giá trị đòn bẩy
• RAGAS 0.2 documentation khung đánh giá RAG theo quy định
• Arize Phoenix khả năng quan sát lưu động tham chiếu
• Llama Guard 4 Định dạng an toàn 2026
• NeMo Guardrails v0.12 Quản lý đường sắt chính sách

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.