Phase 12: Multimodal AI

开放式VLM食谱:真正重要的是什么

开放量VLM文献的2024-2026年是除表的森林. 果的MM1测试了13种组合的图像编码器,连接器和数据组合. 艾伦人工智能的Molmo证明了详细的人类标题比GPT-4V蒸更好. 布里安-1运行了20多个编码器比较. 五轴设计空间的正式化. 体VLM在控制基准上进行了27种培训配方的比较. 在所有这些噪音中,有一小部分结果在论文中得到了支持:图像编码器比连接器架构更重要,数据混合物比任何东西都更重要, 这一课可以读取这些表格,所以你不必读.

Type: Learn + lab

Languages: Python (stdlib, ablation table parser + recipe picker)

Prerequisites: Phase 12 · 05 (LLaVA baseline)

Time: ~180 minutes

学习目标

  • 名称五轴VLM设计空间:图像编码器,连接器,LLM,数据混合,分辨率时间表.
  • 阅读MM1 / Idefics2 / Cambrian-1的缩表,预测哪个按移动给定的基准值.
  • 选择一个新VLM的配方 (编码器,连接器,数据,分辨率),因为计算预算和任务组合.
  • 解释为什么详细的人类标题比GPT-4V蒸量更高.

问题

现在,我们已经开始使用了"高清"的版本,但我们已经开始使用了"高清"的版本,所以我们已经开始使用了"高清"的版本.

2023年波 (LLaVA-1.5,InstructBLIP,MiniGPT-4) 在标题对预训练 +LLaVA-Instruct-150k上运行. 良好的基线. 超过了MMMU的35%.

2024年波 (MM1,Idefics2,Molmo,Cambrian-1,Prismatic VLM) 进行了彻底的除.结果令人惊和实用.

概念

五轴设计空间

根据"国际"的指标,

  1. 图像编码器:CLIP ViT-L/14,SigLIP SO400m/14,DINOv2 ViT-g/14,InternViT-6B.编码器在补丁尺寸,分辨率和预训目标上不同.
  2. 连接器:MLP (2-4层),Q-Former (32个查询+跨接),感知器重样 (64个查询),C-抽象器 (卷积+双线聚合).
  3. 语言模型:Llama-3 8B / 70B,Mistral 7B, Phi-3,Gemma-2,Qwen2.5.LLM大小是主导的参数成本.
  4. 训练数据:字幕对 (CC3M,LAION),交织 (OBELICS,MMC4),指令 (LLaVA-Instruct,ShareGPT4V,PixMo,Cauldron).
  5. 解析时间表:固定224/336/448,AnyRes,原生动态.训练期间或常态.

每个生产VLM都在每个轴上进行选择.MMMU分数的差异大多由1,4,和5轴解释,而不是你选择的连接器.

轴1:编码器 > 连接器

MM1 3.2 节显示:从Clip ViT-L/14转换为SigLIP SO400m/14增加了3+分MMMU.从MLP转换连接器到感知器重样器增加了不到1分.

布里安-1的"布里安视觉编码器匹配" (Tong等,2024年) 在视觉中心基准 (CV-Bench) 上运行了20多个编码器.排名榜的顶部是DINOv2和SigLIP的混合;CLIP是包中;ImageBind和ViT-MAE较低.Clip ViT-L到DINOv2 ViT-g/14之间的差距在CV-Bench上是5-7分.

2026年开放VLM的默认编码器是SigLIP 2 SO400m/14用于语义+密集功能,有时与DINOv2 ViT-g/14功能连接 (Cambrian的"空间视觉聚合器"这样做).

轴2:连接器设计是洗衣

在MM1,Idefics2,Prismatic和MM-Interleaved中,所有人都得出了相同的结论:在固定的视觉代币数量下,连接器架构几乎没有什么意义.在平均聚合的补丁上,一个2层的MLP在同样的代币预算下表现得与32个查询Q-Former的1点内.

重要的是代币数量.更多视觉代币 =更多LLM计算 =更好的性能到一个点,然后降低回报.每张图像的64代币对于OCR来说太少. 576-1024代币是大多数开放的VLM的甜点. 2048+只用于文档和图表.

对于高分辨率输入,Q-Former节省LLM文本;对于低分辨率,差异是噪音.

轴3:LLM大小设定了上限

通过从7B到13B的翻倍,可靠地增加每份VLM论文中MMMU的 2-4分.在70B时,你和大多数基准.VLM的多模式推理天花板是LLM的文本推理天花板.视觉编码器只能提供它,而不是理由.

这就是为什么Qwen2.5VL-72B和Claude Opus4.7粉碎MMMU-Pro和ScreenSpot-Pro:语言大脑很大. 7BVLM不能通过智能连接器设计取代70BVLM.

轴4:数据 详细的人类标题比蒸

尔莫+皮克莫 (Deitke等,2024) 是每个人都应该阅读的2024年结果.艾伦人工智能让人类注释器在1到3分钟的密集语音到文本传递中描述图像,产生712K密集标题图像.训练数据中没有GPT-4V蒸.

摩尔莫-72B在11个基准中击败了Llama-3.2-90B-Vision. 德尔塔不是架构,而是标题质量.详细的人类标题包含每幅图像的5-10倍多信息,而短视频标题保持在GPT-4V蒸幻觉的实际基础上.

根据"Chen et al. 2023"和"Cauldron" (Idefics2) 的不同情况,该公司的标题是混合的人类+GPT-4V.

轴5:决议及其时间表

Idefics2 的排放: 384 -> 448 增加1-2 分. 448 -> 980 通过图像分化 (AnyRes) 在 OCR 基准上增加了另外 3-5 分.平分辨率训练平原在中度精度;分辨率坡 (开始 224,完成 448 或本地) 列车更快,更高地结束.

布里安-1 进行了分辨率与代币交易:在固定计算中,你可以在更低分辨率下拥有更多代币或更高分辨率的代币.在OCR中,更高分辨率获胜;在一般场景理解中,更低分辨率的代币获胜.

2026年生产配方:列车第一阶段在384固定,第二阶段在OCR重任务中具有高达1280的动态分辨率.

普里斯马टिक控制的比较

普里斯马टिकVLMs (Karamcheti等,2024) 是控制所有轴的论文.同一个13B LLM,同一个指令数据,同一个评估一次只有一轴变化.结果:

  • 每个图像的视觉标志数量解释了差异的60%
  • 编码器选择解释了20%
  • 连接器架构解释了5%
  • 其他所有 (数据组合,时间表, LR) 剩余的15%.

这是一个粗略的分解,但这是最清洁的答案"我应该首先除掉什么"在文学中.

2026年的一位选手

鉴于证据,2026年新项目的默认开放VLM配方:

  • 编码器:在 NaFlex 的本地分辨率下 SigLIP 2 SO400m/14,如果需要分段/地定,则与 DINOv2 ViT-g/14 连接.
  • 连接器:两层MLP在补丁代币上. 除非你有代币限制,否则,跳过Q-Former.
  • 士学位:Qwen2.5 / Llama-3.1 / Gemma 2,7B以成本,70B以质量,根据目标延迟.
  • 数据:PixMo + ShareGPT4V + ,加上任务特定指令数据.
  • 解析度:动态 (每长侧256分钟,最大1280像素).
  • 时间表:第一阶段的调整 (仅用于投影机),第二阶段的完整调整,第三阶段的任务特定调整.

根据本课程末尾所述的论文,

用它

code/main.py通过使用此方法,您可以查询:

  • "考虑到预算X和任务Y,哪个食谱赢得了?"
  • "如果我在7B拉马上换了SigLIP为Clip,预期的MMMU角是什么?"
  • "我应该首先除哪个轴,以获得80%的信心答案?"

产品是排名的配方列表,预期的基准分数和"先排列"建议.

运送它

这一课产生了outputs/skill-vlm-recipe-picker.md鉴于目标任务组合,计算预算和延迟目标,它发布了一个完整的配方 (编码器,连接器,LLM,数据组合,分辨率时间表) ,其中引用了每一个选择的除. 每次启动新的VLM项目时,工程师都不重新发明Idefics2除表.

运动

  1. 对于一个固定2BLLM的预算50万图像,哪个编码器赢得?答案会转向13BLLM吗?为什么?
  1. 布里安-1发现,连接DINOv2 + SigLIP单独在视力中心的基准上都比较好,但在MMMU上没有添加任何信号.预测哪些基准获益哪些保持平稳.
  1. 您的目标是2B LLM上的移动UI代理. 选择编码器,连接器,分辨率和数据组合. 用特定的排放表证明每个选择.
  1. 摩尔莫公司生产的4B和72B型号.4B与封闭的7BVLM竞争力;72B在11/11的基准上超过Llama-3.2-90B-Vision.这告诉你什么关于LLM大小高原假设?
  1. 设计一个抽象表以分离数据混合质量和编码器质量在7B VLM上. 训练至少有多少次? 提出四个轴设置.

关键词

TermWhat people sayWhat it actually means
Ablation"Turning one knob"Training multiple runs that differ in exactly one design-space axis, holding everything else constant
Connector"Bridge" / "projector"Trainable module that maps vision encoder output into the LLM's token space (MLP, Q-Former, Perceiver)
Detailed human caption"Dense caption"A multi-sentence human-written description (typically 80-300 tokens) richer than a web alt text
Distillation"GPT-4V captions"Training data generated by a stronger proprietary VLM; convenient but prone to inherited hallucination
AnyRes / dynamic res"High-res path"Strategy to feed images larger than the encoder's native resolution via tiling or M-RoPE
Resolution ramp"Curriculum"Training schedule that starts low-resolution and increases, speeding alignment learning
Vision-centric bench"CV-Bench / BLINK"Evaluation that stresses fine-grained visual perception rather than language-heavy reasoning
PixMo"Molmo's data"Allen AI's 712K densely-captioned image dataset; human speech transcribed into dense captions

进一步阅读

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.