Phase 19: Capstone Projects

Capstone 17 Personal AI Tutor (Tích ứng, đa mô hình, với bộ nhớ)

Type: Capstone

Languages: Python (backend, learner model), TypeScript (web app), SQL (curriculum graph via Postgres + Neo4j)

Prerequisites: Phase 5 (NLP), Phase 6 (speech), Phase 11 (LLM engineering), Phase 12 (multimodal), Phase 14 (agents), Phase 17 (infrastructure), Phase 18 (safety)

Phases exercised:P5 · P6 · P11 · P12 · P14 · P17 · P18

Time: 30 hours

Vấn đề

Việc dạy học thích ứng từng là một lĩnh vực nghiên cứu công nghệ. Đến năm 2026, nó sẽ là một sản phẩm tiêu dùng. Khanmigo được triển khai trên hầu hết các quận trường của Mỹ. Duolingo Max đã tấn công hàng chục triệu người. LearnLM / Gemini của Google cho Giáo dục có khả năng dạy học trong Google Classroom. Quizlet Q-Chat ngồi cạnh thẻ flash. Tutor Synthesis đã phát triển mạnh mẽ với các trẻ em tò mò. Các yếu tố chung: đầu vào đa phương thức (tiếng nói, hình ảnh phương trình), giáo dục Socrates (hỏi trước, giải thích sau), mô hình học tập được cập nhật sau mỗi tương tác và an toàn phù hợp với độ tuổi nghiêm ngặt.

Bạn sẽ xây dựng một trong những điều này cho một nhóm cụ thể. thanh đo là một nghiên cứu hiệu quả thực tế: điểm trước thử nghiệm và sau thử nghiệm trong hai tuần với 10 học viên. vòng lặp giọng nói phải cảm thấy tự nhiên (các bộ phận của capstone 03). Khoảnh khắc phải tôn trọng quyền riêng tư. Trình lọc an toàn phải vượt qua đội đỏ nhận thức COPPA cho K-12.

Khái niệm

Bốn thành phần.Tutor policylà một vòng lặp của Socrates: khi người học hỏi hỏi câu trả lời, chính sách đặt ra một câu hỏi dẫn đầu; khi họ làm đúng, nó chuyển sang khái niệm tiếp theo; khi họ bị mắc kẹt, nó cung cấp một gợi ý được đặt trên sàn. Learner modellà việc theo dõi kiến thức Bayesian (hoặc một biến thể đơn giản) cập nhật xác suất làm chủ mỗi nút chương trình học sau mỗi tương tác. Curriculum graphlà một Neo4j của các khái niệm với cạnh tiên quyết; chính sách đi qua biểu đồ để chọn khái niệm tiếp theo. Memorylà một cửa hàng tập trung + ngữ nghĩa (tương tự trí nhớ đại lý) chứa các tương tác, sai lầm và sở thích trong quá khứ.

UX là đa phương thức. Tiền nhập văn bản cho các câu trả lời được gõ. Tiền nhập giọng nói thông qua LiveKit + Whisper (tại sử dụng đáy cuối 03). Tiền nhập ảnh cho các vấn đề toán học thông qua dots.ocr hoặc PaliGemma 2. Tiền xuất giọng nói thông qua Cartesia Sonic-2.

Nghiên cứu hiệu quả là kết quả. 10 học viên, trước thử nghiệm và sau thử nghiệm, hai tuần. báo cáo tăng trưởng học tập delta và khoảng thời gian tin tưởng. So sánh với một đường cơ sở không thích nghi (những nội dung tương tự được cung cấp theo đường thẳng mà không cần chính sách hướng dẫn viên).

Kiến trúc

Copylearner device
  |
  +-- text         -> web app
  +-- voice        -> LiveKit Agents (ASR + TTS)
  +-- photo math   -> dots.ocr / PaliGemma 2
       |
       v
  tutor policy (LangGraph)
       - Socratic decision head
       - next-concept chooser (curriculum graph walk)
       - hint scaffolder
       - mastery update
       |
       v
  learner model (BKT / item-response theory)
       - per-concept mastery probability
       - spaced-repetition scheduler (SM-2 or FSRS)
       |
       v
  memory (agentmemory-style)
       - episodic: every interaction
       - semantic: learned mistakes, preferences
       - retention policy: COPPA / GDPR aware
       |
       v
  curriculum graph (Neo4j)
       - prerequisite edges
       - OER content attached
       |
       v
  safety:
    Llama Guard 4 + age-appropriate filter
    memory access guarded by learner ID scope

Thống

• Chọn môn học: K-12 đại số hoặc phần giới thiệu Python (chọn một cho độ sâu)
• Chính sách hướng dẫn: LangGraph trên Claude Sonnet 4.7 (với lưu trữ trước)
• Mô hình học viên: Theo dõi kiến thức Bayesian (classic) hoặc FSRS cho khoảng cách
• Hình đồ chương trình học: Neo4j của các khái niệm + cạnh tiên quyết + nội dung OER
• Memory: agentMemory-style persistent vector + episodic + semantic store
• Voice: LiveKit Agents 1.0 + Cartesia Sonic-2 (đầu đá cuối 03 phụ-thống)
• Phân tích hình ảnh: dots.ocr hoặc PaliGemma 2 để nhận ra phương trình
• An toàn: Llama Guard 4 + bộ lọc phù hợp với độ tuổi tùy chỉnh
• Eval: Tạo câu hỏi cấp độ Bloom, sử dụng trước/ sau thử nghiệm, công cụ nghiên cứu hiệu quả

Hãy xây dựng nó

1. Curriculum graph.Xây dựng Neo4j gồm 50-150 nút khái niệm (ví dụ: đại số K-12 từ "đường số" đến "hình thức hình vuông") với cạnh tiên quyết.

1. Learner model.Bắt đầu theo dõi kiến thức Bayesian với tiền lệ: đoán, trượt, tốc độ học tập. Cập nhật sự thôn hiểu theo khái niệm sau mỗi tương tác.

1. Tutor policy.LangGraph với các nút: read_signal(có câu trả lời của người học đúng / một phần / bị mắc kẹt không?),select_concept(chước đồ lịch chương trình học tập chọn khái niệm ưu tiên cao nhất), scaffold(Tạm dịch:update_mastery- Tôi không biết.

1. Memory.Mỗi tương tác viết cho một cửa hàng tập thể. sai lầm và sở thích thúc đẩy cho bộ nhớ ngữ nghĩa. Chính sách lưu trữ COPPA: tự động xóa sau 1 năm, phụ huynh có thể truy cập.

1. Voice path.Nhân viên LiveKit Agents gắn với chính sách hướng dẫn viên. ASR thông qua Whisper-v3-turbo. TTS thông qua Cartesia Sonic-2. Barge-in hỗ trợ (động cơ sử dụng lại capstone 03).

1. Photo-math path.Lên hoặc chụp hình ảnh; chạy dots.ocr hoặc PaliGemma 2 để nhận ra phương trình; cung cấp cho tutor như đầu vào cấu trúc.

1. Safety.Mỗi sản phẩm mô hình vượt qua Llama Guard 4 + một bộ lọc phù hợp với độ tuổi (để chặn tự gây tổn thương, nội dung người lớn, bạo lực).

1. Efficacy study.10 học viên, trước thử nghiệm (tầm chuẩn 30 câu hỏi cơ bản), hai tuần tương tác với giáo viên (3 buổi/tuần), sau thử nghiệm. So sánh với một nhóm cơ bản không thích nghi gồm 10 học viên trên cùng nội dung.

1. Weekly progress reports.Mỗi học viên, tự tạo bản tóm tắt PDF về các chủ đề được khám phá, các quỹ đạo làm chủ và đề nghị các bước tiếp theo.

Sử dụng nó

Copylearner: "I don't understand why 3x + 6 = 12 means x = 2"
[signal]   stuck
[concept]  'isolating variables' (prerequisite: addition-subtraction-equality)
[scaffold] "what number would you subtract from both sides to start?"
learner: "6"
[signal]   correct
[mastery]  addition-subtraction-equality: 0.62 -> 0.77
[concept]  continue 'isolating variables'
[scaffold] "great. now what is 3x / 3 equal to?"

Chuyển nó

outputs/skill-ai-tutor.mdMột hướng dẫn viên thích ứng cụ thể đối với môn học với đầu vào đa phương thức, mô hình học tập, bộ nhớ, an toàn và hiệu quả được đo.

Các bài tập

1. Thực hiện nghiên cứu hiệu quả với và không có mô hình học tập thích ứng (trình tự khái niệm ngẫu nhiên).

1. Thêm một thăm dò đa phương thức: cùng một câu hỏi khái niệm được đưa ra như văn bản, giọng nói và ảnh.

1. Xây dựng bảng điều khiển phụ trách: các chủ đề được thực hành, các quỹ đạo làm chủ, các khái niệm sắp tới, các sự kiện an toàn (bất cứ sự cố nào xảy ra trên đường dây bảo vệ).

1. Thêm chế độ chuyển đổi ngôn ngữ: người dạy chấp nhận thông tin tiếng Tây Ban Nha và dạy bằng tiếng Tây Ban Nha.

1. Nhấn mạnh sự riêng tư của bộ nhớ: xác minh rằng người học A không thể nhìn thấy dữ liệu của người học B ngay cả khi tấn công lại bằng đoạn băng thoại.

Các điều khoản chính

Đọc thêm

• Khanmigo (Khan Academy) người tiêu dùng tham khảo K-12 tutor
• Duolingo Max Giáo viên học ngôn ngữ tham khảo
• Google LearnLM / Gemini for Education mô hình tham chiếu được lưu trữ
• Quizlet Q-Chat tham chiếu thay thế
• Synthesis Tutor Khán giả khởi nghiệp
• FSRS algorithm lập trình lặp lại khoảng cách
• Bayesian Knowledge Tracing mô hình học tập cổ điển
• LiveKit Agents tiếng nói

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.