这项由南京开大学VCIP打算机科学实验室与阿里巴巴通义实验室谐和开展的规划，以预印本风光于2026年5月发表在arXiv平台，论文编号为arXiv:2605.18018v1。规划淡薄了名为SWIM（See What I Mean，"明白我的道理"）的全新教授计谋，发奋于于贬责多模态大语言模子在领路用户笔墨形色时"找不准宗旨物体"的根人性问题。

你有莫得遭遇过这么的体验：你对着一个智能助手说"帮我形色一下街说念上阿谁穿红穿着的东说念主"，限定它给你形色的却是整条街说念，或者形色了傍边那辆最显眼的汽车？这种"卯分歧榫"的表象在当下起初进的视觉语言AI系统中开阔存在，而且令东说念主颓靡的是，这并不是AI莫得"看到"阿谁东说念主，而是它无法把你说的"红穿着的东说念主"这几个字，和视频画面里阿谁具体的东说念主物准确地对应起来。

规划团队把这个问题比作一场相通错位——AI领有眼睛，也领有耳朵，但眼睛和耳朵之间的"翻译系统"出了问题。SWIM模样的中枢宗旨，便是建立这套翻译系统，让AI真实作念到"明白你说的是哪个"。

一、为什么AI老是找不准你说的阿谁物体

模范路这个问题，不错用一个平素场景来类比。假定你站在一个侵扰的菜市集里，让一个一又友帮你找"阿谁卖西红柿的摊位"。要是你的一又友训戒丰富，他会把你说的"西红柿"这个词，和视线里某个具体摊位的红色圆形物体对应起来，精确锁定宗旨。但要是这个一又友对市集不闇练，他可能会漫无目的地注视通盘这个词市集，最终指向了阿谁最显眼的大摊位，而不是你说的阿谁。

现存的多模态大语言模子（不错领路为"同期能看图、看视频又能领路笔墨的AI"）就像阿谁不闇练市集的一又友。为了弄了了问题出在那儿，规划团队作念了一个相等直不雅的实验：他们把AI模子在处理笔墨时的"预防力漫衍"可视化出来——也便是说，当AI读到某个词的时候，它的意见落在图像的哪些区域。

实验限定令东说念主偶而，却又在理由之中。当AI读到"棕色"、"髯毛"这么形色外不雅特征的词时，它的预防力相等辘集，准确落在了图像中阿谁真实棕色的区域、那张真实有髯毛的脸上。但当AI读到"男东说念主"、"东说念主"这么的名词时，预防力却分散得到处王人是，整张图像上王人有少量点激活，就像把一滴墨水点进了一大盆水里，那儿王人有热情，却那儿王人不澄莹。

这个发现揭示了一个系统性的法例：形色外不雅特征的词（热情、纹理、样式）大略精确定位，而代表物体自身的名词却老是漫无宗旨。规划团队分析了其中的原因：在AI用来教授的海量图文数据中，"红色"这个词经常只出面前图像里真实红色的区域近邻，因此AI学到了"红色"和特定视觉区域的紧密关联。但"男东说念主"这个词在种种不同的场景下王人会出现——室内、室外、近处、远方、正脸、背影——这种种种性导致AI无法把这个词和某个具体的视觉区域紧紧绑定在一说念。

正因如斯，当用户用纯笔墨形色某个物体时，AI经常无法准确领路你说的到底是画面里的哪一个。而为了贬责这个问题，现存的一些才略走了一条"绕路"：让用户非凡提供视觉标记——比如在图像上画一个框、打一个点、或者涂一个遮罩——来明确告诉AI"便是这个"。这种形状诚然有用，却背离了东说念主类最当然的交流形状：咱们语言的时候，不会唾手拿着画笔在空气中圈出宗旨物体，咱们依靠语言自身来指定宗旨。

二、现存贬责决议的局限：不得不拿着"提示棒"语言

面前学术界和工业界也曾有了一批异常针对"风雅化物体领路"的模子，它们如实能更好地领路用户指定的具体物体，但代价是需要非凡的视觉输入。

以视频领域为例，VideoRefer这类模子需要用户提供对应帧的精确遮罩（就像在物体轮廓上描了一圈），Ferret需要用户框出物体的位置，还有一些模子需要用户点击物体场地的坐标点。这些才略如实能让AI"看准"宗旨，但使用起来极为未便——鄙俚用户在平素对话中不可能随时准备好这些视觉标注器具。

更病笃的是，这类才略在架构遐想上时时需要非凡的模块：一个异常处理遮罩的编码器、一个非凡的视觉区域索取积贮……这不仅加多了系统的复杂度，也意味着在使用时必须非凡准备这些"说念具"。

规划团队以为，真实逸想的系统应该像东说念主类一样：只用语言就能精确指定宗旨，不需要任何非凡器具。收尾这个宗旨的关节，不是给模子加多更多模块，而是让模子里面的"语言-视觉对应关系"变得愈加精确。

三、构建"课本"：NL-Refer数据集的出身

任何学习王人需要好的课本，教授AI也不例外。要让AI学会把名词和具体物体对应起来，最初需要一批"圭臬谜底"——每张图、每段视频里，笔墨中提到的物体，王人要有对应的精确视觉标注。

规划团队的起点是VideoRefer数据集，这是一个已有700K个视频样本的视频领路数据集，其中每个样本王人包含视频帧、笔墨形色，以及物体的像素级遮罩标注。然则问题在于，原始数据辘集的笔墨形色用的是一个占位象征``来指代宗旨物体，比如"请形色视频中``的特征"。这个占位符对东说念主来说一看就懂（联结视觉标记），但对于但愿从纯笔墨中学习对应关系的AI来说，这等于告诉它"这里有个宗旨物体"，却莫得给出任何语义信息——AI无从领会这个物体叫什么、有什么特征。

为了贬责这个问题，规划团队遐想了一个GPT-4o驱动的数据处理经过。具体而言，他们让GPT-4o阅读每个样本中配套的翔实形色笔墨（比如"一个穿白色T恤、留着髯毛的年青男性正在步碾儿"），然后让它把笔墨里的``占位符替换成一个任意、准确的当然语言指代抒发式，同期在这个抒发式里找出最中枢的名词（比如"男东说念主"），用特殊标记``把它包围起来。

经过这么处理，正本的"请形色视频中``的特征"就形成了"请形色视频中阿谁**留着髯毛的年青男东说念主**在街上行走的特征"，金年会(JinNianHui)体育官网其中"男东说念主"这个词被标记出来，而况与原来的像素级遮罩班师挂钩。这套经过经心处理的数据集被定名为NL-Refer，包含12.5万个视频样本，每个样本王人建立了从当然语言名词到视觉区域的精确映射。

这尽头于为AI准备了一套带有精确谜底的进修题：每说念题告诉AI"当你读到这个词时，你的意见应该落在图像的这个区域"。

四、SWIM教授计谋：用"查考压力"改造预防力习气

有了高质料的课本，接下来是遐想教授才略。SWIM的中枢念念路其实并不复杂：在AI教授过程中，每当AI读到一个被标记的关节名词时，就查抄它的预防力是否落在了正确的视觉区域；要是莫得，就给它一个"刑事职守信号"，推着它把预防力调节到正确位置上去。

具体来说，当AI处理一段输入时，它的里面有多层"预防力机制"，每一层王人在决定"当我处理某个词时，我应该关留意频画面的哪些部分"。规划团队从AI的中间多层同期索取这种预防力漫衍图，然后把这些来自不同层的预防力争取平均，得到一张详细的预防力热力争，代表AI全体上在讲理画面的哪些区域。

接下来，这张热力争被拿来和事先标注好的物体遮罩（即宗旨物体的真实轮廓）进行对比：热力争中的高亮区域是否和物体遮罩重合？使用的臆测圭臬是二值交叉熵厌世函数——不错领路为一种"考卷评分机制"，它对图像上每个像素点寂寞打分：要是某个像素属于宗旨物体，对应位置的预防力越高越好；要是某个像素不属于宗旨物体，对应位置的预防力越低越好。这个评分机制会生成一个"罚分"，罚分越高讲明预防力和真实区域偏差越大，教授过程会左证这个罚分连接调节AI的参数，直到预防力越来越辘集在正确区域上。

这里有一个相等关节的遐想特色：这套遮罩监督只在教授阶段使用。当教授完成、模子郑重进入使用时，用户不需要提供任何遮罩或其他视觉标注，只需用鄙俚笔墨形色宗旨物体，模子就能自动把预防力瞄准正确区域。这就好比你通过大宗进修学会了"看到形色就能假想对应画面"的智力，在践诺使用时不再需要图片提拔，单凭形色就能在脑海中精确定位宗旨。

对于具体从哪些层索取预防力争，规划团队也作念了系统性的探索。他们发现，从单一层索取成果最差，使用六层成果最佳，再加多层数收益递减。更病笃的发现是，这六层最佳均匀漫衍在通盘这个词积贮的浅层到深层，而不是辘集在某个特定深度段——这讲明精确的物体领路需要同期诳骗低层的纹理特征和高层的语义领路，两者统筹兼顾。

在预防力争的合并形状上，米兰体育MILAN中国官网规划团队对比了加法、最大值池化、乘法、平均值四种形状，最终发现班师取平均成果最佳。原因在于，乘法会导致某个层预防力稍低的区域被全体压低，遗漏了部分有用信息；而平均值能平滑各层之间的噪声，同期保留最显耀的激活峰值。

在厌世函数的遴荐上，规划团队对比了四种决议：mIoU厌世、Focal厌世、Dice损构怨二值交叉熵（BCE）厌世。最终BCE厌世成果最优，原因在于预防力争自然是寥落的（大部分区域预防力接近零），而BCE对每个像素寂寞打算，既刑事职守了宗旨区域内的低预防力，也刑事职守了非宗旨区域的高预防力，与预防力争的寥落脾气相等契合。

五、实验限定：不仅仅比别东说念主强少量点

规划团队在多个视频领路基准上对SWIM进行了系统测试，限定尽头令东说念主服气。

在VideoRefer-Bench上，这个异常评测视频风雅化物体领路智力的基准分为两个子任务。第一个子任务（VideoRefer-Bench-Q）让模子修起对于特定物体的遴荐题，涵盖基础领路、时序关系、物体间关系、推理和瞻望五个维度。SWIM取得了78.3%的平均准确率，比之前最佳的异常模子VideoRefer-7B向上6.4个百分点，也越过了GPT-4o（71.3%）和畛域更大的InternVL2-26B（65.0%）。其中提高最明白的是基础领路（比Qwen2.5-VL-7B高5.8%）和时序关系（高5.3%），这两类任务王人需要AI最初精确识别出宗旨物体才能作答，正值是SWIM革命最中枢的智力。

第二个子任务（VideoRefer-Bench-D）条件模子对指定物体进行翔实形色，评分维度包括主体对应准确性（形色的是不是指定的阿谁物体）、外不雅形色准确性（热情、样式、纹理是否正确）、时期作为形色准确性（作为、解析是否形色准确）、以及幻觉检测（有莫得诬捏不存在的细节）。SWIM在这四个维度上分别得到4.92、3.85、3.43、2.96分（满分5分），详细平均3.78分，不仅越过了最佳的异常模子DAM-8B（3.68分），也远超GPT-4o（3.25分）。其中主体对应性和外不雅形色的提高最为凸起，这班师反应了SWIM在把名词和视觉区域对应方面的革命。

在通用视频领路基准上，SWIM在MVBench上得到62.1分（越过VideoRefer-7B的59.6），在VideoMME上与VideoRefer-7B执平（55.9），在ActivityNet-QA上得到55.6分。这些限定讲明，SWIM在专精于风雅化物体领路的同期，并莫得葬送通用视频领路智力——一个专注于某项妙技的教授才略，莫得让AI"偏科"。

六、AI的意见究竟落在那儿：用数字量化预防力精确度

为了更直不雅地考据SWIM如实改善了预防力漫衍，规划团队遐想了两套异常的评估方针。

第一套是GamePoint@P方针，它臆测的是：在AI预防力最高的前P%像素中，有些许比例落在了宗旨物体的遮罩范围内？在P=1%时，SWIM的得分是0.392，而基础的Qwen2.5-VL唯有0.329，提高了6.3个百分点；在P=5%时提高5.5个百分点；在P=10%时提高4.7个百分点。这意味着SWIM的预防力峰值更准确、更辘集，最受讲理的那些像素如实更多地落在了宗旨物体上。

第二套是GamePoint@K方针，臆测的是预防力名次靠前的K个像素点中，有些许属于宗旨物体。在K从1到100的各个值上，SWIM（0.373~0.375）永远高于Qwen2.5-VL（0.328~0.331），且各个K值下的差距相等康健。这讲明SWIM不仅仅在最高预防力点上发扬更好，而是全体的预防力排序王人愈加准确可靠。

此外，规划团队还用AP（平均精度）、AUC（弧线底下积）、NSS（归一化扫描旅途显耀性）和Precision（精确率）四个更圭臬的视觉显耀性方针，对两个模子的预防力争进行了全面比较。四项方针上SWIM全部优于基础模子：AUC从0.62提高到0.67，NSS从0.39提高到0.50，Precision从0.28提高到0.39，AP从0.26提高到0.30。这些数字背后的道理是：SWIM生成的预防力争与真什物体遮罩的重合进程更高，诞妄激活（预防力落在非宗旨区域）更少，分离宗旨与非宗旨的智力更强。

七、数据越多越好：SWIM的畛域扩张后劲

一个实用的AI才略，除了当下的性能，还需要具备"越喂越好"的后劲——跟着数据畛域扩大，性能能否执续提高？

规划团队对NL-Refer数据集按照不同畛域进行了实验，从3万个样本运转，冉冉加多到5万、8万、10万、最终12.5万个无缺样本，不雅察性能变化。限定炫耀出澄莹、单调的飞腾趋势：3万样本时得分3.23，5万时3.39，8万时3.60，10万时3.69，12.5万时3.78。全程莫得出现性能停滞或下落的迹象，而且在12.5万这个刻下最大畛域处，弧线仍然莫得发扬出"豪阔"的迹象。这意味着要是能赢得更多高质料的遮罩标注数据，SWIM的性能还有尽头大的提高空间。

八、靠近"换个说法"的挑战：鲁棒性测试

现实寰宇中的用户形色归并个物体时可能用不同的词：有东说念主说"男东说念主"，有东说念主说"男性"，有东说念主说"男士"。一个真实实用的系统应该在靠近这类同义词替换时保执康健的性能，而不是只意志教授时见过的特定词汇。

为了测试这少量，规划团队把VideoRefer-Bench-D测试辘集通盘被标记的关节名词替换成同义词，然后重新评测。限定炫耀，SWIM在同义词打扰下的得分（3.74）仅比原始得分（3.78）低0.04分，降幅极为眇小。比较之下，原始Qwen2.5-VL在莫得打扰时得分为2.97，加上精确关节词后（尽头于给它少量非凡的语义陈迹）得分为3.43，仍然低于SWIM在有同义词打扰时的3.74。这个对比讲明SWIM学到的不是死记硬背特定词汇，而是对物体语义的深层领路，这种领路不错泛化到语言抒发的当然变化中。

九、践诺成果：看得见的区别

除了数字，规划团队也展示了一些具体的对比案例，让SWIM的革命变得相等直不雅。

在一个形色类任务中，用户让模子形色"视频桌子上阿谁长方形的木质砧板"。基础的Qwen2.5-VL形色的是傍边的饼干，因为饼干是画面中最显眼的动态物体；而SWIM准确形色了那块砧板，内容与圭臬谜底高度吻合。在两说念遴荐题案例中，SWIM相似选出了正确谜底，而基础模子王人选错了。这些例子王人指向归并个问题：当AI不成准确将笔墨形色与视觉区域对当令，它会本能地被画面中最显眼的物体"诱骗"，而忽视用户真实在问的阿谁宗旨。

说到底，SWIM作念的事情并不是给AI添加了某种神奇的新智力，而是建立了一个耐久被忽视的基础问题：当AI读到一个物体名词时，它应该真实"看向"阿谁物体，而不是漫无目的地注视通盘这个词画面。这个问题之是以之前莫得被系统性贬责，很猛进程上是因为传统的评测形状（问答准确率、形色畅达度）并不成班师显现预防力漫衍的裂缝，需要像这篇论文这么把预防力争可视化出来才能发现。

对于鄙俚用户来说，这项规划的道理在于：改日你在使用AI助手时，只需要用当然语言说"帮我关留意频里阿谁戴红帽子的孩子"，AI就能真实把意见和预防力聚焦在阿谁孩子身上，而不是形色通盘这个词场景或者最显眼的布景元素。SWIM的教授决议只需要在教授时提供遮罩，推理使用时全王人依靠笔墨，这意味着它不错班师集成到现存的模子教授经过中，不需要更动模子架构或加多推理时的非凡输入。

这项规划的无缺论文不错通过arXiv编号2605.18018查阅，代码和NL-Refer数据集也已开源，有好奇瞻仰久了了解时期细节的读者不错通过GitHub上的HumanMLLM/SWIM仓库获取。

Q&A

Q1：SWIM教授才略和鄙俚多模态大模子教授有什么区别？

A：鄙俚多模态大模子教授只消求模子输出正确的笔墨谜底，并岂论模子里面的预防力是否落在了正确的视觉区域。SWIM在此基础上加多了一个非凡的监督信号：当模子读到物体名词时，它的跨模态预防力争必须和事先标注的物体遮罩尽量重合，不然会产生刑事职守。这个非凡不断迫使模子把名词和对应视觉区域更紧密地绑定在一说念，从而在推理时仅凭笔墨就能精确定位宗旨物体，不再需要用户非凡提供遮罩或标注框。

Q2：NL-Refer数据集和原始VideoRefer数据集有什么不同？

A：原始VideoRefer数据辘集，笔墨形色用占位符``代替宗旨物体米兰体育MILAN中国官网，这个象征对东说念主来说要互助视觉标记才能领路，AI无法从中学习到名词和视觉区域的对应关系。NL-Refer通过GPT-4o处理，把每个``替换成了具体的当然语言形色（比如"阿谁留髯毛的年青男东说念主"），同期标记出最中枢的名词，并保留了与之对应的像素级遮罩。这么AI就能从笔墨自身班师学习"读到这个词就该看阿谁区域"的对应关系。