ICRA 2026 | SurgVidLM：在机器人辅助手术中利用大语言模型实现多粒度视频理解

论文简介：手术场景理解对于机器人辅助手术中的手术培训和机器人决策至关重要。多模态大语言模型（MLLMs）的最新进展在提升医疗领域场景感知方面展现了巨大潜力，能够辅助外科医生理解手术场景与流程。然而，现有方法主要面向图像分析或全局视频理解，忽视了细粒度视频推理，而这对于分析特定过程及捕获手术流程中详细的任务执行细节至关重要。为了弥补这一空白，我们提出了 SurgVidLM，这是首个旨在解决手术视频全过程及细粒度理解的视频语言模型。为了训练 SurgVidLM，我们构建了 SVU-31K 数据库，这是一个包含超过 3.1 万个“视频-指令”对的大规模数据集，支持对手术流程进行整体理解与详细分析。在此基础上，SurgVidLM 引入了一种两阶段的 StageFocus（阶段聚焦）机制：第一阶段提取全局流程上下文，第二阶段则在时间线索的引导下进行高频局部分析。此外，我们还开发了多频融合注意力机制（Multi-frequency Fusion Attention），以有效整合低频和高频视觉标号（Tokens），确保保留关键的任务特定细节。实验结果表明，在全过程和细粒度视频理解任务中，SurgVidLM 的表现显著优于同等参数规模的最先进（SOTA）视频大语言模型，展现了其捕获复杂机器人辅助手术语境的卓越能力。

主要贡献：

• 本文提出了首个专门针对机器人辅助手术设计的模型 SurgVidLM。该模型支持从宏观的整段视频理解到微观的细粒度视觉推理，实现了多粒度的手术场景分析。

•  我们通过一种创新的Knowledge Augmentation Pipeline构建了大规模数据集 SVU-31K。该数据集涵盖了全过程视频与细粒度视频理解的任务标注，使模型能够具备结构化且感知上下文的手术视频理解能力。

• SurgVidLM 引入了 StageFocus 机制，实现了从全局到局部的循序渐进理解。同时，通过集成多频融合注意力机制（Multi-frequency Fusion Attention），促进了低频与高频视觉标号（Tokens）之间的交互，从而完整保留了环境上下文与任务细节信息。

• 在 SVU-31K 数据集上进行的广泛实验与消融研究表明，在同等参数规模下，SurgVidLM 在多粒度手术视频理解任务中的表现优于当前最先进的（SOTA）视频大语言模型。实验结果凸显了其在机器人辅助手术场景理解中的应用潜力。