一个目光锁定你！多模态视觉定位智力升级——开云(中国)Kaiyun·官方网站 - 登录入口

由单张图像拓展至多图像应用场景。

比如，在复杂的相册中自动识别出 Luigi 并在第二张图中找到他，或是把柄钢铁侠剧照自动在合影中找到对应的演员唐尼。

Q：Image-1 is the photo album of someone in Image-2, please find and locate this person.

回答： ( 371,146 ) , ( 695,812 )

又或者把柄第一张图，找到第二张图同型号玄色款的车。

Q：Where did I park my car? It is the same type shown in the first image, except it is black in color.

闭幕它依旧回答出来了。

The car you parked is located at the entrance of the parking garage at ( 500,575 ) , ( 650,735 ) .

还能挖掘不同图像之间的有关，末端精确定位。

来自清华 NLP 孙茂松团队、北京交通大学、华中科大合股建议了多模态视觉定位新范式——

Migician，动作第一个复古恣意体式多图定位（Multi-image Grounding，MIG）的多模态模子，为此还运筹帷幄了一个大范畴测验数据集 MGrounding-630k。

多模态 Grounding 新范式

多模态大模子（typo Multimodal Large Language Model）的视觉定位（Visual Grounding）任务通过收受恣意体式的当然言语描写动作查询，能够在图像中精确定位主义物体。

刻下的 Grounding 任务主要留心于单张图像，只可对单张图像进行主义物体的检测与定位，这极大的禁止了 Grounding 任务在践诺生存场景中的任务。

以具身智能场景为例，机器东谈主需要和会多视角图像信息进行物体识别定位以完成握取动作；或者今天我念念找我的车停哪了，这时我大概就需要一张我我方车辆的像片动作输入查询，在泊车场的多张监控影像中进行查找与定位；

为此，THUNLP 团队合股北交大、华中科大建议多图视觉定位新范式，通过构建包含数十种任务的系统性框架，将视觉定位智力拓展至多图像应用场景。

跟着输入图像数主义加多，相应的视觉信息激增，丰富的语义信息和图像本体自然地助长了千般化的 Grounding 体式和可能性。

按照是否需要明确指代主义物体，接洽团队将多图定位任务分为 Spontaneous Grounding 和 Referential Grounding 两种：

前者依托不同图像中自然潜在的有关（如图像中变化了的物体或者图像中相通的物体），让模子自动识别并准详情位；

后者收获于多张图像带来的体式上的膨大和语义信息上的丰富，可以复古不同体式的指代描写，如 Visual Reference，Textual Reference 或者和会两种模态信息进行定位。

值得持重的是，接洽团队建议的多图视觉定位潜在地为很多任务提供了一种通用范式，如 Object Tracking, Vehicle Reidentification, Person Reidentification, Partial Graph Matching 等等任务，都可以放在 MLLM 合股的框架中进行端到端的料理。此外，这种多图体式内在地复古各式类型的图像，可以幸免此前一些特地用于处理图像查询（Image Query）的冗余视觉模块运筹帷幄，如 VisionLLM v2, Griffon v2 等，为 MLLM 提供一个更通用和更合股的架构。

CoT 推理框架

斟酌到刻下的主流多模态大模子尚未具备多图定位的智力，关联词它们的通用感知与意会智力继续发展，展现出了关于长序列场景越来越强的意会智力，如多图和长视频，且本人通常还是具备可以的单图 Grounding 智力。

于是，接洽团队领先商榷了刻下模子能否充分调用其已具备的单图定位智力和多图通宅心会智力，以 CoT（Chain-of-Thought）的多步推理形势迟缓料理此问题。

具体的，正本的多图 Grounding 任务可被拆解为以下两步：

Step1 多图意会：输入为多张图像，模子详尽分析统统图像，得出主义物体的文本指代描写，如上图 ( c ) 中，"上方有粉色花朵的木桶"。

Step2 单图定位：以轮询的形势输入单张图像，模子运用上一步得出的论断以及本人的单图定位智力在这些单张图像上进行视觉定位。

实验闭幕标明，这种分步推理的形势如实具有一定的灵验性，关联词局限性仍旧存在：

当视觉信息过于抽象或者复杂时，文本描写难以充分反馈该图像本体的全貌，如上图中 ( c ) ，原图中有多个合适要求的木桶，苟简的指代："上方有粉色花朵的木桶"不及以充分地指定主义物体。

当推理历程过于复杂，在各个推理步上的出错概率也会相应加多，最终形成通盘框架发达的方差较高，且总推理时长大幅加多。

下图中更多例子进一步展现了这种 CoT 架构的局限性，充分体现出了一个端到端（end-to-end）料理决议的必要性。

模子测验与数据构建

针关于 MLLM 多图定位智力的劣势和 CoT 框架的局限性，接洽团队建议了Migician，动作第一个复古恣意体式多图定位（Multi-image Grounding，MIG）的多模态模子。

为了打造一个庞杂的多图视觉定位模子，接洽团队运筹帷幄了一个大范畴测验数据集MGrounding-630k，包含了从现存数据聚首整合转变的数据和运用模子与东谈主工构建的高质料提示微调数据。

运用这个数据集，旨在打造一个全面的，能复古丰富任务体式的 MIG 任务的模子。

借助于该数据，接洽团队基于 Qwen2-VL-7B，给与了两阶段的测验形势：

第一阶段：主要给与从现存数据聚首转变和运筹帷幄的数据，并混入了多图意会数据、单图意会数据和单图定位测验数据。该阶段旨在从零构建模子的多图定位智力。

第二阶段：主要给与高质料的 MIG 提示微调数据，并混入第一阶段四种类型的数据以提神模子渐忘。该阶段旨在进一步素雅化模子的 MIG 智力，增强其纯真性与泛化性。

同期，为了客不雅评估模子的 MIG 智力，接洽团队还推出了一个新的评估基准：MIG-Bench，包含 10 种不同任务，包含了来自东谈主工收罗的，手动拍摄的和从现存数据中转变的不同图像，共包含 4000+ 的测试样例和近 6000 张图像。

该评估基准经过全心的东谈主工运筹帷幄，校验与筛选，充分保证了其问题正确性与举座的质料。

实验闭幕

在最终的闭幕上，该两阶段的测验形势和建议的 MGrounding-630k 数据对模子 MIG 智力的普及颠倒灵验，在统统十个任务上大幅寥落同范畴模子以及 70B 范畴的模子。

此外，不论是在多图意会的评估基准如故单图的智力评测上，模子都发达出了出色的通用智力。

在多图基准 MuirBench, MIBench 和 MMIU 上获取 SOTA 成果，其单图智力比较于此前的多图模子也有昭彰的上风。

同期，为了深化探讨专用智力与通用智力间的影响，接洽团队给与了相应的数据子集，差别测验了不同的模子，商榷了不同部分数据差别的作用，最终发现混杂多图定位数据与通用数据对最终性能的普及最大，多图细粒度定位关于多图通用智力如实存在一定匡助。

在传统的单图视觉定位上，Migician 的 Grounding 智力也有一定的继续增益。

不同推理形势的商榷

前文的 CoT 框架给与的是单图轮询推理，这种设定能较好适配原始模子的单图视觉定位智力，关联词该形势会形成很大的推理时代老本，关于 N 张图像输入，要额外进行 N+1 次推理。那么咱们能否在多图的语境下，径直通过 prompt 理论告诉模子："嘿！你只用看第二张图就好啦 ~ "，以这种形势来调用模子单图定位智力和多图意会智力，从而末端多步推理呢？

鄙人表中，接洽团队考据了这种 mCoT 的灵验性，关联词其性能普及较为瘦弱，多数低于单图轮询 CoT 的成果，体现出模子正本的 Grounding 智力不可很好适配多图场景。

单图高分辨率任务

终末，论文还有一个比较意旨的发现。在视觉 token 的长度上，多图和高分辨率单图有很大的相通性，那么 Migician 关于多图的长 token 序列的处明智力能否移动到高分辨率单图上呢？为了考据这个念念法，作家们登第了 V*Bench，它留心于在高分辨率图片中对轻细物体的视觉搜索与属性判断。

在闭幕上，当 Migician 以零样本泛化到该评估基准上时，便展现出了出色的性能；其次，当他们把单张高清图像裁为多张子图，调停为多图任务时，Migician 能末端进一步的性能普及，展现出了细密的泛化性。

除了前边几个例子外，它关于多视角的训练，也能松驰应酬，Migician 径直识别并定位出咫尺了每张图像里的东谈主，

Migician 精确识别并告捷定位为穿灰穿戴的东谈主，径直正确输出他在统统像片里的位置坐标。

Image-1: ( 314,204 ) , ( 404,552 ) . Image-2: ( 698,231 ) , ( 783,487 ) . Image-3: ( 918,157 ) , ( 999,618 ) . Image-4: ( 271,273 ) , ( 399,633 ) .

终末回来，接洽团队将视觉定位（Visual Grounding）任务全面地拓展到了多张图像的场景下，收获于多张图像带来的丰富视觉语义信息，多图 Grounding 也出生了各式丰富千般的可能任务体式，如主义跟踪，找不同，多视角定位等。

为了赋予刻下模子料理多图定位的智力，接洽团队领先探究了 CoT 的推理形势，并暴知道了这种非端到端系统的局限性。

为此，他们进一步建议了一个大范畴的测验数据集，全面的 MIG 评估基准以及庞杂的多图定位模子 Migician，为多图定位迈出了坚实的一步。

论文地址：

https://arxiv.org/abs/2501.05767

面容代码：

https://github.com/thunlp/Migician

面容页面：

https://migician-vg.github.io/

—  完  —

投稿请责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿本体‍

附上论文 / 面容主页皆集，以及有关形势哦

咱们会（尽量）实时酬谢你

一键留心 � � 点亮星标

科技前沿进展逐日见

一键三连「点赞」「转发」「小心心」

宽容在辩论区留住你的念念法！开云(中国)Kaiyun·官方网站 - 登录入口

当前网址：http://www.gaku-ken.com/xinwen/1007656.html
tag：开云(中国)Kaiyun·官方网站 - 登录入口,模子,详尽,分析,统统,图像