بازیافت RAG چند مدل و کراس مدل
Type: Build
Languages: Python (stdlib, cross-modal retriever with fusion + grounded generator)
Prerequisites: Phase 12 · 23 (ColPali), Phase 11 (RAG basics)
Time: ~180 minutes
اهداف یادگیری
- بازیافت متقابل طراحی: متن → تصویر، تصویر → متن، صوتی → ویدیو و غیره
- سه استراتژی فیوژن را مقایسه کنید: فیوژن امتیاز، فیوژن مبتنی بر توجه، فیوژن MoE.
- پایه گذاری نسل را توضیح دهید: "تحت اشاره به منابع خود" چه شکلی است وقتی که منابع ترکیبی از روش ها هستند.
- سه بررسی را در سال 2025 و طبقه بندی زیر مشکل آنها را نام دهید.
مشکل
RAG یک راه حل حل است: درخواست های گنجانده شده، قطعات گنجانده شده، بازیافت، چیزهای به LLM. RAG چند راه حل نیاز به:
- چندین سر بازیافت (هر روش نیاز به گنجانده شدن در یک فضای سازگار دارد).
- ترکیب نتایج بازیافت در میان روش ها.
- زمین سازی نسل که منابع را در میان روش ها ذکر می کند.
- متریک ارزیابی که سیگنال های متقابل را پوشش می دهد.
بررسی های سال 2025 همه به یک طبقه بندی مشابه می رسند.
مفهوم
بازیافت متقابل
دریافت اسناد روش B با دریافت یک سوال روش A. سه الگوی:
- فضای ادغام مشترک. CLIP و CLAP در فضای مشترک ادغام متن + تصویر / متن + صوتی را تولید می کنند. شباهت کوسین بین روش ها مستقیما کار می کند. محدود به زوج های آموزش CLIP است.
- کدرسنده ی هر نوعیت + ترجمه. کدرسنده ی متن + کدرسنده ی تصویر + نقشه برداری ماژول مترجم کوچک بین فضاهای. Sen2Sen توسط گپتا و همکاران و سایر طرح های 2024 . انعطاف پذیر اما پیچیدگی را اضافه می کند.
- VLM به عنوان کدگر استفاده کنید. از حالت های پنهان VLM به عنوان نمایش بازیابی استفاده کنید. هر روش VLM پشتیبانی می کند کار می کند. کیفیت بالاتر، گران تر است.
گزینه: CLIP / SigLIP 2 برای متن + تصویر؛ CLAP برای متن + صوتی؛ VLM-hidden-states برای cross-modal در کیفیت مرزی.
استراتژی های ادغام
شما 10 تا نتیجه رو بدست آوردید: 5 تا تصویر، 3 تا متن، 2 تا آڈیو کلیپ. چطور می تونید ادغام کنید؟
ترکیب نمره ( ارزان ترین) هر روش دارای بازیافت کننده خاص خود است، هر یک نمره را باز می آورد. نمره را در حالت معمول پس از جمع بندی. ساده، اغلب کار می کند.
مرکب توجه، تمام موارد بازیافت شده را جمع آوری کنید، اجازه دهید شبکه توجه کوچک وزن آنها را. نیاز به آموزش.
ترکیب MoE. راه های شبکه را به کارشناسان خاص روش می دهد. انواع مختلف سوال مسیر متفاوت است یک سوال بصری وزن تصاویر بالاتر است.
پیش فرض تولید: ترکیب امتیاز با یک تعصب جزئی نسبت به روش غالب جستجو. اگر A / B برندهای واضح در دامنه شما را نشان دهد به MoE ارتقا دهید.
زمین سازی نسل
LLM باید اشاره کند که کدام عنصر بازیافت شده هر ادعا را تحریک کرده است.
- منبع متن: نقل قول استاندارد
[1]. . - منبع تصویر:
[img 3]با عنوان کوتاه - صدا:
[audio 2 at 0:34]. .
ژنراتور را با داده های آگاه به زمین آموزش دهید: هر ادعای در هدف آموزش با شاخص منبع برچسب گذاری شده است. در نتیجه، مدل به طور طبیعی نقل قول می کند.
بررسی های سال 2025
Abootorabi و همکاران (arXiv:2502.08826، "به هر نوع درخواست کنید"): تاکسونومی برای RAG چند مودالی. شامل بازیافت، ادغام، تولید می شود. گسترده ترین پوشش.
Mei et al. (arXiv:2504.08748، "یک بررسی از RAG چند مدل"): بر معیار های فرعی و حالت شکست تمرکز می کند. برای طراحی ارزیابی مفید است.
ژائو و همکاران (arXiv:2503.18016): نظرسنجی متمرکز بر دید.
خواندن سه تا به شما در بهار 2025 به حالت هنر می دهد. بیشتر زیرمشکل ها هنوز باز هستند.
MuRAG مقاله اساسی
MuRAG (Chen et al., 2022) اولین RAG چندرنگ بود. تصویر + متن را از KB چندرنگ باز یافت و پاسخها را تولید کرد. قبل از موج VLM امکان پذیر بودن را نشان داد. سیستم های مدرن (REACT، VisRAG، M3DocRAG) بر روی آن ساخته شده اند.
یک مثال از برنامه ریزی سفر تولید
سوال: "من رو يه شام آرام و بي گياه با نور طبيعي پيدا کن".
خط لوله:
- جستجو را تجزیه کنید. کلمه کلیدی "سکوت" → صدا / بررسی؛ "برنش گیاهخوار" → قطعه مینو؛ "روش طبیعی" → ویژگی تصویر.
- بازیافت در هر روش:
- بازیافت متن در بررسی ها: "برنش گیاهخوار، فضای آرام".
- بازیافت تصویر در عکس رستوران: "نور طبیعی، هوا".
- بازیافت صدا در کلیپ های صدا محیطی: "دسیبل پایین، هیچ موسیقی".
- نمرهاي فوز هر رستوران نمرهاي ترکیبی داره
- رستوران های برتر → ژنراتور VLM با تمام شواهد → پاسخ با نقل قول.
این فراتر از متن-RAG است. هر روش سیگنال اضافه می کند که متن به تنهایی از دست می دهد.
RAG چند مودیال آژانتک
چند رکود: اگر اولین بازرسی پاسخ های با اطمینان بالا را به دست نیاورد، LLM دوباره شکل می دهد و بازمی گیرد. الگوهای RAG اجنتیک از مرحله 14 در اینجا اعمال می شود. نمونه:
- اولین 10 تا را بازپس بگیرید → LLM از "خیلی سر و صدا، فیلتر برای <40 dB" می خواهد → دوباره بازپس بگیرید.
- تصاویر را بازیافت کنید → LLM می بیند که یک منو وجود دارد → متن منو را بازیافت کنید → پاسخ.
پیچیدگی اضافه می کند اما سوالات را که بازیافت یک شات نمی تواند انجام دهد.
ارزیابی
ارزیابی متقابل هنوز نپخته است.
- به هر روش یادآوری کنید.
- دقت بالا-ک همگشته شده
- از نظر انسان رضایت کامل
- وظایف خاص (حجزات تکمیل شده، خرید انجام شده)
هیچ معیار استاندارد شامل همه روش ها نیست. اکثر مقالات بر روی وظایف خاص حوزه ارزیابی می کنند.
ازش استفاده کن
code/main.py:
- سه دستگاه بازیافت کننده ساختگی (متن، تصویر، صوتی) که روی یک مجموعه مشترک رستوران ها کار می کنند.
- ترکیب نمره ای که نمره های حالت را با وزنه های قابل تنظیم ترکیب می کند.
- یک پخته ژنراتور که با نقل قول پاسخ نهایی را ارسال می کند.
- یک حلقه ساده ای که سوال را اگر اعتماد کم باشد دوباره شکل می دهد.
-باده
این درس به ما کمک می کندoutputs/skill-multimodal-rag-designer.md. به عنوان مشخصات محصول با جریان سوالات چندمودال، طراحی بازیافت کننده ها، فیوژن، ژنراتور و ارزیابی.
تمرینات
- یک RAG چند حالت پزشکی را پیشنهاد کنید: سوال = عکس آسیب + علائم متن. چه روش هایی را از کدام KB بازمی یابیم؟
- ترکیب نمره یک مبلغ ساده وزن شده است. چه حالت شکست دارد که ترکیب MoE از آن اجتناب می کند؟
- تاکسونومی Abootorabi و همکاران را بخوانید (قسم 3) . سه زیرمسئله کانونیک چیست و چگونه به محصول انتخاب شده شما نقشه می کشند؟
- یک مشخصات ارزیابی برای یک RAG چند حالت برنامه ریزی سفر طراحی کنید. کدام متریک ها شامل یادآوری تصویر، یادآوری صوتی و دقت ترکیب می شوند؟
- RAG چندپای آژانتک مالیات تاخیر در هر سفر برگشت دارد. در چه مشکل سوال افزایش دقت تاخیر را توجیه می کند؟
اصطلاحات کلیدی
| Term | What people say | What it actually means |
|---|---|---|
| Cross-modal retrieval | "Query one modality, retrieve another" | Text query retrieves images; image query retrieves text; requires a shared space or translator |
| Score fusion | "Combine scores" | Weighted sum of per-modality retrieval scores; simplest fusion |
| MoE fusion | "Modality-routed experts" | Gating network picks which modality's scores to trust per query |
| Grounded generation | "Cite your sources" | Each claim in the answer tagged with the source index |
| MuRAG | "First multimodal RAG" | 2022 paper that established the multimodal RAG pattern |
| Agentic multi-hop | "Reformulate and retry" | LLM re-queries retrievers when first-pass confidence is low |
خواندن بیشتر
- Abootorabi et al. — Ask in Any Modality (arXiv:2502.08826)
- Mei et al. — A Survey of Multimodal RAG (arXiv:2504.08748)
- Zhao et al. — Vision RAG Survey (arXiv:2503.18016)
- Chen et al. — MuRAG (arXiv:2210.02928)
- Liu et al. — REACT (arXiv:2301.10382)
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.