九连阳复旦联合南洋理工提出基于视觉Grounding的多轮强化学习框架MGPO_模型_图像_裁剪

本文的主要作者来自复旦大学和南洋理工大学 S-Lab，研究方向聚焦于视觉推理与强化学习优化。

先进的多模态大模型（Large Multi-Modal Models, LMMs）通常基于大语言模型（Large Language Models, LLMs）结合原生分辨率视觉 Transformer（NaViT）构建。然而，这类模型在处理高分辨率图像时面临瓶颈：高分辨率图像会转化为海量视觉 Token，其中大部分与任务无关，既增加了计算负担，也干扰了模型对关键信息的捕捉。

为解决这一问题，复旦大学、南洋理工大学的研究者提出一种基于视觉 Grounding 的多轮强化学习方法 MGPO，使 LMM 能在多轮交互中根据问题，自动预测关键区域坐标，裁剪子图像并整合历史上下文，最终实现高分辨率图像的精准推理。相比监督微调（SFT）需要昂贵的 Grounding 标注作为监督，MGPO 证明了在强化学习（RL）范式中，即使没有 Grounding 标注，模型也能从「最终答案是否正确」的反馈中，涌现出鲁棒的视觉 Grounding 能力。

展开剩余84%

MGPO 的核心创新点包括： 1）自上而下的可解释视觉推理：赋予了 LMMs 针对高分辨率场景的「自上而下、问题驱动」视觉搜索机制，提供可解释的视觉 Grounding 输出； 2）突破最大像素限制：即使因视觉 Token 数受限导致高分辨率图像缩放后模糊，模型仍能准确识别相关区域坐标，从原始高分辨率图像中裁剪出清晰子图像用于后续分析； 3）无需额外 Grounding 标注：可直接在标准 VQA 数据集上进行 RL 训练，仅基于答案监督就能让模型涌现出鲁棒的视觉 Grounding 能力。

标题：High-Resolution Visual Reasoning via Multi-Turn Grounding-Based Reinforcement Learning 论文地址：https://arxiv.org/abs/2507.05920 代码地址：https://github.com/EvolvingLMMs-Lab/MGPO

图 1：基于 MGPO 训练的模型性能展示，在处理高分辨率图像时，模型会根据问题输出关键区域坐标，然后自动触发图像裁剪函数，返回清晰的子图帮助模型回答问题。

介绍

当前，以 Qwen2.5-VL 为代表的多模态大模型（LMMs）通常基于强大的语言模型（如 Qwen2.5）结合外部原生分辨率视觉 Transformer（NaViT）构建。然而，这类模型在处理高分辨图像任务时面临挑战：高分辨率图像会转换成海量视觉 Token，其中大部分与任务无关，既增加了计算负担，也干扰了模型对关键信息的捕捉。

相比之下，在处理高分辨率真实场景时，人类视觉系统会采用任务驱动的视觉搜索策略，首先定位，再仔细审视关键兴趣区域。受这一生物机制启发，我们尝试通过视觉 Grounding 为 LMMs 赋予类似的视觉搜索能力，使其聚焦于图像中的关键区域。

但传统视觉 Grounding 模型需依赖大量 Grounding 标注进行训练，而此类标注成本较高。有没有可能不需要额外 Grounding 标注九连阳，仅通过最终答案的正确性对模型进行奖励，就让模型自动学会「找重点」？

我们的答案是：可以。本文提出基于视觉 Grounding 的多轮强化学习算法 MGPO（Multi-turn Grounding-based Policy Optimization），使 LMMs 能在多轮交互中自动预测关键区域坐标、裁剪子图像并整合历史上下文，最终实现高分辨率图像的精准推理。我们的实验证明，即使没有任何 Grounding 标注，模型也能从「最终答案是否正确」的奖励反馈中，涌现出鲁棒的视觉定位能力。

方法概览

MGPO 的核心思想是模拟人类的多步视觉推理过程：给定高分辨率图像和问题，模型先预测关键区域的坐标，裁剪出子图像；再结合原始图像和子图像的上下文，进行下一步推理。

下图比较了 MGPO 与 SFT、GRPO 的区别，MGPO 可以仅靠正确答案的监督信息，涌现鲁棒的视觉 Grounding 能力。

解决「冷启动」：固定两回合对话模板

在实际训练中，我们发现 LLMs 在 Rollout 过程中，难以自主在中间过程调用 Grounding 能力，使得 RL 训练过程缓慢。为了解决模型的冷启动问题，我们设计了一个固定两轮对话模板（如下图所示），在第一轮对话中明确要求模型只输出与问题相关的区域坐标，在第二轮对话中再要求模型回答问题。

处理高分辨率：坐标归一化与子图像裁剪

受限于模型能够处理的视觉 Token 数量，高分辨率图往往会被缩放成模糊图像，导致细节丢失。如下图所示，当处理缩放图像时，MGPO 会先定位到与问题相关的区域，再从原始图像中裁剪出清晰的子图，确保模型能够正确回答相关问题。

实验结果

1.不同范式对比

基于相同训练数据下，我们对比了 SFT、GRPO、MGPO 在两个高分辨率图像 Benchmark 的表现：MME-Realworld（In-Distribution）和 V* Bench (Out of Distribution)。实验结果显示，GRPO 相较于 SFT 并未带来显著性能提升，这与之前多模态数学任务的研究结论相反。我们推测，对于高分辨率视觉中心任务，核心挑战在于让模型感知细粒度图像细节，而非进行复杂的长链推理。

相比之下，MGPO 取得了显著提升，相比 GRPO 在 MME-Realworld、V* Bench 分别提升 5.4%、5.2%。我们还将结果与 OpenAI 的 o1、GPT-4o 在 V* Bench 上进行了对比，尽管我们的模型仅基于 7B 模型、用 2.1 万样本训练，经过 MGPO 训练的模型仍超过了这两个商业大模型。

2.RL 训练过程中视觉 Grounding 能力的涌现

我们统计了 GRPO 与 MGPO 两种 RL 框架训练过程中，模型生成的有效 Grounding 坐标比例。结果显示，MGPO 的有效比例随训练迭代呈现显著上升趋势，证明了 MGPO 仅需利用标准 VQA 数据（无需额外 Grounding 标注），就能在 RL 训练过程中自主涌现出稳定、精准的视觉 Grounding 能力。

总结

MGPO 通过多轮强化学习算法激活视觉 Grounding 能力九连阳，有效提升了多模态大模型处理高分辨率图像时的「视觉 Token 冗余」和「关键信息丢失」等问题。同时，实验证明了，相比 SFT 需要昂贵的 Grounding 标注，RL 算法可以仅通过最终答案的奖励反馈，使得模型自主涌现出鲁棒的 Grounding 能力，避免了对昂贵 Grounding 标注的依赖。

发布于：河北省

永华配资提示：文章来自网络，不代表本站观点。