वीडियो-भाषा मॉडलः अस्थायी टोकन और ग्राउंडिंग
Type: Build
Languages: Python (stdlib, frame sampler + temporal-grounding evaluator), TypeScript
Prerequisites: Phase 12 · 08 (LLaVA-OneVision)
Time: ~180 minutes
सीखने के लक्ष्य
- समय स्थिति एन्कोडिंग वीडियो वीएलएम प्रदर्शन को दृष्टि एन्कोडर से स्वतंत्र रूप से क्यों बदलती है, इसका वर्णन करें।
- टोकन-प्रति सेकंड बनाम ग्राउंडिंग सटीकता पर समान, गतिशील-एफपीएस और घटना-चालित फ्रेम नमूनाकरण की तुलना करें।
- Q-former-per-clip (Video-LLaMA) बनाम pooled-per-frame (Video-LLaVA) बनाम time-aligned M-RoPE per token (Qwen2.5-VL) डिजाइनों का वर्णन करें।
- चार वीडियो बेंचमार्क का नाम दें: वीडियोएमएमई, टेम्पकॉम्पस, इगोस्केमा, वीडियो-एमएमयू।
समस्या
30 एफपीएस पर 1 मिनट का वीडियो 1800 फ्रेम है। प्रति फ्रेम 196 दृश्य टोकन (ViT-B 224) पर, जो कि 2024 युग के किसी भी एलएलएम संदर्भ से 352k टोकन बड़ा है।
तीन कटौती रणनीतियाँ हैंः
- उप-समुदा फ्रेम (1-8 एफपीएस सामग्री के आधार पर) ।
- प्रत्येक फ्रेम के पैच टोकन को आक्रामक रूप से (3x3 या 4x4 द्विआधारी पूल) में मिलाएं।
- एक Q-former के माध्यम से संपीड़ित जो 16 फ्रेम क्लिप लेता है और 64 टोकन आउटपुट करता है।
प्रत्येक व्यापार अलग है. उप-सैंपलिंग समय का विवरण खो देता है. पूलिंग स्थानिक विवरण खो देता है. क्यू-पूर्व दोनों थोड़ा खो देता है लेकिन टोकन बचाता है.
समय स्थिति एन्कोडिंग दूसरी धुरी हैः मॉडल फ्रेम 5 फ्रेम 6 से पहले कैसे जानता है? विकल्पों में सरल 1 डी temporal RoPE (वीडियो-एलएएमए), सीखे गए temporal embeddings (वीडियो-एलएवीए) और समय-अनुरूप M-RoPE (Qwen2.5-VL, पूर्ण 3D) शामिल हैं।
अवधारणा
वीडियो-एलएएमएः प्रति क्लिप + ऑडियो शाखा के लिए क्यू-former
वीडियो-एलएलएमए (2023) पहला ओपन वीडियो-एलएलएम था। वास्तुकलाः
- 16 फ्रेम क्लिप 2 FPS (तो 8 सेकंड) पर।
- प्रति फ्रेम ViT सुविधाएँ -> वीडियो Q-former जो सभी 16 फ्रेम पर क्रॉस-एटेंस्ट करता है -> 32 सीखे गए प्रश्न -> LLM।
- समानांतर ऑडियो शाखाः तरंग स्वरूप -> छविबंद ऑडियो एन्कोडर -> ऑडियो क्यू-पूर्व -> 32 प्रश्न -> एलएलएम।
बलः ऑडियो-विजुअल संयुक्त तर्क। कमजोरीः तय क्लिप लंबाई, कोई मनमानी समय जमीनीकरण नहीं।
वीडियोचैट और वीडियो-एलएवीए
वीडियोचैट ने वीडियो-एलएएमए विचार को बरकरार रखा लेकिन ऑडियो और सरलता को छोड़ दिया। वीडियो-एलएवीए (लिन एट अल, 2023) ने छवियों और वीडियो फ्रेम दोनों पर एक एकल दृश्य एन्कोडर ("प्रक्षेपण से पहले संरेखण") को प्रशिक्षित किया, जिससे एक एकीकृत प्रतिनिधित्व दिया गया। दोनों जमे हुए-सीएलआईपी-एंकोडर + एमएलपी + एलएलएम हैं।
दोनों 8-16 फ्रेम सिस्टम हैं।
Qwen2.5-VL और समय-अनुरूप M-RoPE
Qwen2.5-VL Qwen2-VL के M-RoPE (मल्टीमोडल रोटरी पोजीशन एम्बेडिंग) को रखता है और इसकी temporal axis को absolute time के साथ aligns करता है। प्रत्येक patch token में a (t, h, w) position होती है जहां t वास्तविक time stamp (frames index नहीं) का पालन करता है। Qwen2.5-Omni (Lection 12.20) ने बाद में उसी idea के अपने audio और video version को TMRoPE, Time-aligned Multimodal RoPE नाम दिया।
सरल समयबद्ध सम्मिलन से मुख्य अंतरः
- मॉडल "4.2 सेकंड" नहीं "फ्रेम 15" देखता है।
- प्रति टोकन घूर्णन, प्रति क्लिप नहीं. प्रत्येक दृश्य टोकन स्वतंत्र रूप से अपने समय टिकट द्वारा घूमता है.
- गतिशील FPS के साथ संगत. यदि आप 2 FPS यहाँ और 4 FPS वहाँ पर नमूना, समय संरेखित M-RoPE नेटिव रूप से असमान अंतर को संभालता है.
समय-अनुसूचित एम-रोपी "क्या सेकंड में बिल्ली कूदती है? " प्रश्न सक्षम करता है। मॉडल "4.2 सेकंड में" आउटपुट कर सकता है। "वीडियो-एलएएमए केवल क्लिप में "शुरुआती" कह सकता है।
नमूना लेने की रणनीति
समानः नमूना N फ्रेम समरूप रूप से अवधि के दौरान। सरल, गति शिखर खो देता है।
गतिशील एफपीएसः गति तीव्रता के आधार पर नमूना अनुकूलन। ऑप्टिकल प्रवाह या फ्रेम अंतर घने नमूने लेने के लिए उच्च गति वाले खंडों का चयन करता है। Qwen2.5-VL इस पर ट्रेन करता है।
घटना-चालितः एक हल्के डिटेक्टर चलाएं, कार्रवाई होने पर अधिक नमूना।
Keyframe + Context: शॉट सीमाओं पर नमूना + कुछ आसन्न फ्रेम। सिनेमाई सामग्री के लिए उपयोग किया जाता है।
प्रति फ्रेम को मिलाकर
1 FPS और 576 टोकन प्रति फ्रेम पर, एक 5 मिनट क्लिप 172,800 टोकन है। जो Qwen2.5-VL-72B के 128k संदर्भ को ओवरफ्लो करता है, इसलिए आपको पहले फ्रेम रेट या पूल टोकन प्रति फ्रेम छोड़ना होगा।
3x3 द्विआधारी पूल प्रति फ्रेम 64 टोकन -> 5 मिनट के लिए 19,200 टोकन तक कम हो जाता है। अधिकांश कार्यों के लिए मीठा स्थान।
एजेंट वर्कफ़्लो के लिए अधिक आक्रामक रूप से (6x6 -> 16 टोकन प्रति फ्रेम) को संकलित करें जहां स्थानिक विवरण कम मायने रखता है।
चार वीडियो बेंचमार्क
- वीडियोएमईएमः व्यापक वीडियो समझ, लघु + मध्यम + लंबा।
- TempCompass: बारीक-खोलकर समय पर विचार करना, "पूर्व" / "पश्चात" प्रश्न।
- इगोस्केमा: लंबी दूरी के पहले व्यक्ति वीडियो।
- वीडियो-एमएमयूः बहुआयामी बहु-अनुशासनात्मक वीडियो प्रश्न।
एक पूर्ण वीडियो-वीएलएम मूल्यांकन सभी चार को हिट करता है। वे विभिन्न अक्षों पर जोर देते हैं टेम्पकॉम्पस आदेश देने के बारे में है, इगोस्केमा लगभग 3+ मिनट तर्क है, वीडियोएमएमई अवधि को कवर करता है।
ग्राउंडिंग आउटपुट प्रारूप
समय पर जमीनीकरण के लिए आउटपुट प्रारूपः
- मुक्त पाठः " बिल्ली 4 सेकंड के निशान के चारों ओर कूदती है। " विश्लेषण करने में आसान लेकिन अस्पष्ट।
- संरचित JSON:
{"event": "jump", "start": 4.1, "end": 4.3}Qwen2.5VL इस को प्रशिक्षित करता है। - टोकन आधारितः विशेष
<time>4.1</time>कुछ वीडियो मॉडल इसका उपयोग करते हैं; Qwen2.5-VL इसके बजाय अपने M-RoPE स्थिति आईडी में समय को एन्कोड करता है और पाठ या JSON में उत्तर देता है।
टोकन आधारित डाउनस्ट्रीम उपयोग के लिए सबसे सटीक है। Qwen2.5-VL का JSON आउटपुट प्रारूप सीधे पार्स करता है।
2026 सर्वोत्तम प्रथा
2026 में वीडियो वीएलएम के लिएः
- एन्कोडरः सिगलिप 2 या एक मूल-रिज़ॉल्यूशन ViT, LLM में समय-अनुसूचित M-RoPE (Qwen2.5-VL) के साथ।
- फ्रेम नमूनाकरणः गतिशील एफपीएस (1-4 गति के आधार पर) अधिकतम फ्रेम कैप के साथ।
- प्रति फ्रेम पूलिंगः 3x3 द्विआधारी।
- आउटपुटः समय + घटना क्षेत्रों के साथ संरचित JSON।
- बेंचमार्क: वीडियोएमएमई + टेम्पकॉम्पस सामान्य के लिए; ईगोस्कीमा दीर्घकालिक के लिए।
इसका प्रयोग करें
code/main.pyइसमें शामिल हैंः
- समान और गतिशील-एफपीएस फ्रेम नमूना।
- एक खिलौना समय-भूमिकांकन मूल्यांकनकर्ताः समय T पर एक "भूमिका सत्य" घटना और एक मॉडल आउटपुट को देखते हुए, सहिष्णुता के साथ सटीकता को स्कोर करें।
- वीडियो-एलएएमए (16 फ्रेम, क्यू-पूर्व), वीडियो-एलएवीए (8 फ्रेम, एमएलपी), क्यूवेन2.5-वीएल (डायनामिक एफपीएस + समय-अनुकूलित एम-रोपी) के बीच तुलना।
इसे भेजें
यह सबक हमें फल देता हैoutputs/skill-video-vlm-frame-planner.md. एक वीडियो कार्य (निरीक्षण, क्रिया पहचान, समय स्थलांतर, संक्षेप) को देखते हुए, यह फ्रेम नमूना, पूलिंग कारक, आउटपुट प्रारूप और अपेक्षित सटीकता स्तर का चयन करता है।
व्यायाम
- 3 मिनट के खाना पकाने के प्रदर्शन के लिए, वर्दी बनाम गतिशील FPS चुनें. टोकन गिनती के साथ सही ठहराना.
- समय-अनुसूचित एम-रोपी जोड़ेगा कि एक सरल समय सम्मिलित तालिका क्या कर सकता है?
- समय के ग्राउंडिंग के लिए एक JSON योजना लिखें जिसे एक VLM उत्सर्जित करना सीख सकता है। त्रुटि मामलों को शामिल करें।
- वीडियो-एलएवीए के "प्रोजेक्शन से पहले संरेखण" पर अनुभाग 3 पढ़ें। यह अलग-अलग छवि और वीडियो एन्कोडर को प्रशिक्षित करने से बेहतर क्यों है?
- वीडियोएमएमई रैंकिंग बोर्ड को देखते हुए, 2026 तक शीर्ष ओपन मॉडल और शीर्ष स्वामित्व मॉडल के बीच अंतर क्या है? उस अंतर का कितना हिस्सा temporal encoding vs base LLM scale के लिए जिम्मेदार है?
प्रमुख शर्तें
| Term | What people say | What it actually means |
|---|---|---|
| Temporal grounding | "Time-localized answers" | VLM outputs a specific timestamp range for when an event happens |
| Time-aligned M-RoPE | "TMRoPE" | 3D rotary position whose temporal axis follows absolute timestamps; Qwen2.5-VL uses it for video, and Qwen2.5-Omni names its audio and video form TMRoPE |
| Dynamic FPS | "Motion-aware sampling" | Sample more frames in high-motion segments, fewer in static ones |
| Frame pooling | "Spatial compress per frame" | Reduce patches per frame with bilinear interpolation before the LLM |
| Video Q-former | "Clip compressor" | Cross-attention bottleneck mapping N frames to K learned queries |
| VideoMME | "Video bench" | Comprehensive short/medium/long video benchmark, 2500+ samples |
आगे पढ़ना
- Zhang et al. — Video-LLaMA (arXiv:2306.02858)
- Li et al. — VideoChat (arXiv:2305.06355)
- Lin et al. — Video-LLaVA (arXiv:2311.10122)
- Qwen Team — Qwen2.5-VL (arXiv:2502.13923)
- Lin et al. — VILA-1.5 (arXiv:2312.07533)
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.