VGI-Bench：探针式评测如何衡量视频生成模型的视觉智能

VGI-Bench给我的第一印象很直接：它不是一个用来看视频生成效果高低的排行榜，而是一套用“探针任务”去戳视频生成模型视觉智能的评测思路。视频生成模型现在最让人头疼的问题不是画质，而是画面里的常识错误——物体刚出现在左边，下一帧跑到右边还不带形变；杯子被手拿起之前，手已经穿过了杯壁；提示词里写了三个苹果，生成出来只有两个。这种问题不是单纯靠加分辨率就能解决的，根源是模型对视觉世界的理解不够。VGI-Bench这类探针式基准，最值得关注的价值就是把“视觉智能”拆成可评估、可复现、可对比的具体能力项。

如果你正在做视频生成模型的本地部署评测、模型选型，或者研究生成模型的能力边界，这篇文章按实际落地顺序拆一遍：VGI-Bench在测什么、怎么理解探针式评测、本地环境怎么准备、评测任务怎么批量跑、结果怎么看，以及最容易踩的坑和排查顺序。我下面写的内容不是我推测出来的理论，而是按评测任务真实执行时会碰到的问题来展开的。

1. 先看清楚：VGI-Bench到底是“测画质”还是“测智力”

1.1 视觉智能和画面质量是两码事

视频生成模型的进步速度很快，几秒到十几秒的视频片段已经能做得相当精细，画面里的光线、纹理、运动模糊都有模有样。但一旦涉及“物体之间的关系”“事件发生的先后顺序”“物理上能不能这样动”，很多模型就开始漏馅。

我举几个常见现象：

• 一个球从桌面掉落到地面，正常情况下应该先接触地面，再弹起来。但有些模型生成的结果里，球还没落地就已经开始反方向运动。
• 人物从侧面走到正面，手的位置和方向经常对不上。不是画质问题，是空间想象出了问题。
• 提示词说“两个人在雨中打伞走过”，画面里的伞可能突然消失一帧，然后再出现。

这些都不是渲染精度造成的，而是模型对视觉世界的“理解”不够完整。VGI-Bench的定位就是围绕“视觉智能”做评估，它不关心画面是不是足够精美，而是关心模型能不能在生成过程中遵守视觉世界的基本规则。

1.2 “探针”到底是什么意思

“探针”这个词在硬件测试里很常见，比如测试芯片时用探针卡接触芯片引脚，给某个位置通电，看功能是否正常。它和传统测试最大的区别是：不追求覆盖所有电路，而是挑关键点位做定向测试，用最少的步骤判断一个功能是否可用。

VGI-Bench的思路和这个很接近。它不是把一大段视频丢给模型，然后笼统地打一个分数，而是设计一个个带有明确能力指向的任务，比如“验证物体是否在遮挡后仍然保持身份”“验证掉落的物体是否遵守重力规律”“验证动作顺序是否符合常识”。每个探针任务，只集中测一个能力维度。

这样做有一个明显好处：当模型某项能力不合格时，你不需要猜，而是能直接看到它是在哪一类问题上失败的。比如它在物体遮挡任务上大面积失败，那说明模型对物体永久性和空间记忆的处理有短板；如果它在动作顺序任务上失败多，那就要关注模型对时序因果关系的建模能力。

1.3 探针式评测适合什么场景

我接触过的场景里，VGI-Bench这类探针式基准最有用的情况有三个。

第一，模型选型。当你在多个开源视频生成模型之间做选择时，只看演示视频远远不够，你需要知道每个模型在物理合理性、物体一致性、语义忠实度上分别是什么水平，才能判断哪个模型更适合你的业务。

第二，本地部署后的能力摸底。模型部署在本地后，实际运行效果和官方示例往往有差异。在本地跑一遍探针评测，可以快速确认模型有没有因为量化、裁剪版本、推理参数改变而掉能力。

第三，生成质量的持续监控。如果模型后续要长期提供生成服务，每次升级模型权重或者推理框架后，可以跑一遍固定的探针任务集，用来对比版本之间是否引入了能力回退。

2. 探针式评测和常规视频评测有什么实际差异

2.1 常规指标能衡量什么

目前视频生成模型评测最常用的指标包括FVD、CLIP Score、IS等。这些指标主要从统计分布和语义匹配的角度评价生成质量。FVD计算生成视频和参考视频的特征分布距离，CLIP Score衡量文本和视频内容在语义空间里的匹配度。它们适合做横向对比，也能筛掉明显低质量的输出。

但这类指标有几个局限：

• 它们没办法告诉你视频里是否存在物理规则被破坏。
• 它们很难区分“画面整体好看但有个别物体逻辑错误”和“画面整体平庸但没有逻辑错误”。
• 它们对少量帧的错误不敏感。一段视频里如果只有两帧出现物体穿模，指标可能依然很高。

所以常规指标更像一个“体检初筛”，能看出整体是否在正常范围，但看不出具体的功能模块是否健康。

2.2 探针式评测更接近能力验证

VGI-Bench这类探针式基准的做法，是把复杂能力拆成可验证的子任务，再判断输出结果是否满足预设条件。

举个例子。一条探针任务可能是：

• 提示词：“一个蓝色球从桌面掉落，碰到地面后弹跳两次。”

评估时，评测方会拆解验证点：

• 球是否在碰到地面前先保持下落状态。
• 球是否在接触地面后才改变运动方向。
• 弹跳次数是否符合“两次”。
• 球在运动过程中是否保持蓝色和圆形。

每一类验证点对应一个能力维度，比如重力感知、接触响应、物体一致性、语义计数。最终输出不是单一的“好或坏”，而是多个维度上的通过率。

这个方式和常规指标最大的差异在于：它更适合定位问题。某个模型如果弹跳验证不通过，我们就能判断它在物理交互上能力不足，而不是笼统地说“生成质量一般”。

2.3 评测结果受提示词设计影响很大

探针式评测并不是完全自动就一定能做到公平。提示词怎么写，直接影响生成结果。

同一个任务，两种问法：

• “蓝球掉在桌上弹起来。”
• “一颗蓝色的小球从桌面边缘滑落，碰到木地板后以较弱的力度弹起两次。”

第二种描述给了更多限定信息，模型更容易生成符合预期的视频。但这也意味着，如果探针任务集的提示词写得不够规范，不同模型之间的对比难度会上升。

VGI-Bench如果要做跨模型对比，就需要把提示词模板化，统一描述格式，并且对任务描述中的歧义词做控制。在本地评测时，尽量不要自己临时写提示词，而是用评测框架里固定的模板。这样测出来的结果才具有可对比性。

3. 本地部署评测环境：先满足这些条件再动手

3.1 硬件资源的底线

视频生成模型本地部署评测，绕不开算力问题。先说结论：如果只是用小尺寸模型做单条探针验证，12GB到24GB显存的显卡是起步配置；如果要跑更高分辨率或更长视频，32GB以上显存会更稳。内存建议至少32GB，磁盘需要预留足够的空间，因为生成视频和评测日志都会占用存储。

如果你拿不准自己的机器能不能跑，可以先做一次最小资源测试：

• 生成一段2秒左右视频。
• 分辨率设为模型支持的下限。
• 帧率按默认值。
• 单条任务，不并发。

这一步不是为了评测模型能力，而是为了确认你的环境能够正常完成一次生成。跑完之后看GPU显存峰值、内存占用和单次耗时，再决定后续批量评测的并发数。

3.2 依赖环境和模型接入方式

VGI-Bench本身需要调用视频生成模型。大部分开源视频生成模型都提供Python接口或命令行工具，评测框架会通过接口向模型提交提示词，再回收生成的视频文件。

在本地评测时，建议把模型封装成一个统一接口，让评测框架只关心“输入提示词，输出视频路径”这个逻辑。这样有几个好处：

• 模型版本替换时，不需要改评测任务。
• 多条探针任务可以批量提交。
• 出错时可以通过统一日志排查。

如果你只是临时评测一两个模型，也可以直接用命令行生成视频，再人工整理结果。但一旦探针任务数量超过几十条，手工方式会很痛苦，建议花一点时间把接口层整理好。

3.3 先跑通一条最小探针任务

很多人第一次跑VGI-Bench，容易犯一个错误：上来就启动完整评测集。结果模型加载失败、输出路径错误、视频编码不支持，一下子堆出几十个报错，反而不知道问题在哪。

更稳妥的顺序是：

1. 构造一条最简单的探针任务，比如“一个红色小球静止在桌面上”。
2. 直接把这条提示词提交给视频生成模型。
3. 确认模型能生成视频，且视频文件能正常打开。
4. 确认输出路径、文件命名、日志记录都正常。

只有这一步跑通了，再开始跑正式探针集。这个“最小样例优先”的思路看起来很基础，但在实际评测中能节省大量时间。

4. 实操落地：从单条探针到批量评测任务

4.1 单条探针任务的完整流程

执行一条探针任务，大致是五个步骤：

1. 从任务集中取出提示词模板。
2. 按模型要求格式化提示词，补充必要的负面词或风格约束。
3. 调用模型接口生成视频。
4. 把生成结果保存到指定目录，并记录任务元信息。
5. 对该结果进行自动评估或人工审核。

这里最容易出问题的是第2步。不同视频生成模型对提示词的解析方式不一样，有的模型对中文支持好，有的对英文更敏感；有的模型要求把主体放在句首，有的模型会自动忽略较长描述中的后半段。建议在批量评测前，先用同一批探针任务在不同的提示词写法下各跑一遍，观察模型对提示词变化的敏感度。

4.2 批量评测时的关键参数

批量评测不是简单地把单条任务重复执行很多次。需要考虑以下参数：

这些参数看起来简单，但有一个关键点需要特别提醒：不要一上来就开最大并发。很多本地模型在并发任务达到一定数量后，会出现显存分配失败或推理速度急剧下降的情况。评测的核心目标是拿到稳定、可复现的能力指标，不是压测显卡极限。所以宁可单任务跑久一点，也要保证结果可靠。

4.3 结果记录格式要提前设计

评测结果的记录方式会影响后续分析。我建议使用JSONL格式，每一条任务单独一行，包含：

这种格式的好处是，后续分析失败模式时可以用脚本直接统计。比如要查“哪些任务失败次数最多”“失败集中在哪个能力维度”，只要对JSONL做一次group by操作就能出来。

5. 视觉智能评估的核心维度：怎么才算“懂视觉”

5.1 物体一致性与身份保持

物体一致性是视频生成模型最基础也最常翻车的维度。判断标准很简单：同一个物体在视频的不同帧里，是否保持颜色、形状、数量的一致性。

一个球在画面里滚过，中间被遮挡了一两秒，重新出现时不应该是另一个颜色，也不应该变成方形。人物在画面中转身后，衣服颜色和体型不能突变。

在VGI-Bench的探针任务里，这个维度通常会有专门的任务集，比如“一个穿红衣服的人从画面左侧走到右侧，中途被柱子遮挡一秒”。评测时看遮挡前和遮挡后的人物是否保持一致。如果这个维度通过率低，说明模型对物体的长期记忆和身份绑定能力不足。

5.2 时序逻辑与因果关系

时序逻辑考察模型是否理解“先发生什么，后发生什么”。视频是时间序列，动作顺序必须符合常识。

“人先拿起杯子，再喝水”是一个顺序；“人先喝水，再拿起杯子”是另一个顺序，后者在物理上不合理。探针任务会专门生成这类描述，检查生成结果是否按正确顺序执行。

这个维度还包含更复杂的因果关系，比如“花瓶从桌面掉落，碎裂”。正常的逻辑是：掉落在先，碎在后。如果视频里花瓶先碎，然后才掉落，说明模型没有建立事件之间的因果绑定。这类错误在短视频里偶尔出现一两帧很容易被忽略，但如果你做的是教学演示或产品展示类内容，观众一眼就能看出异常。

5.3 物理合理性

物理合理性是视频生成模型最难跨越的门槛之一。它包含：

• 重力：物体下落时是否符合重力加速度感知，而不是匀速飘动。
• 碰撞：物体接触后是否按预期方向弹开或停止。
• 刚体变形：坚硬物体是否保持硬挺，柔软物体是否有合理的变形。
• 液体行为：水泼出去之后是散开成水花，而不是变成一团固体。

这些能力是否做到完美不是关键，关键是“是否符合人类对世界的直觉”。如果生成的一段室内镜头里，窗帘在无风条件下大幅度摆动，这种问题属于物理合理性偏差。VGI-Bench会把这些场景拆成探针任务，逐项检查模型是否具备物理常识。

5.4 空间关系与相机运动

空间关系考察模型对场景深度和物体相对位置的理解。常见探测点包括：

• 一个物体在另一个物体前面，遮挡关系是否正确。
• 相机从正面移动到侧面时，物体的透视变化是否合理。
• 物体距离相机远近变化时，大小变化是否符合视觉逻辑。

有些模型在静态帧里表现很好，但一旦相机开始运动，物体的空间位置就开始漂移。比如相机在室内环绕一圈，沙发原本在桌子左侧，转到另一角度后，沙发和桌子的左右关系发生变化。这种问题在单帧截图里看不出来，必须看完整视频才能发现。

5.5 语义忠实度

语义忠实度衡量模型是否准确执行提示词中的明确要求。这一点看起来简单，实际很容易出问题。

提示词里写了“三个红色苹果，一个绿色苹果”，模型可能生成三个红色苹果和一个绿色梨。提示词里写了“人从画面右侧进入”，模型可能让从左侧进入。这类问题不是画质问题，而是语义解析和视觉生成之间的对齐失败。

探针任务会把这种“明确数量”“明确颜色”“明确位置”“明确动作”的信息单独拎出来做验证。评测时，对每一条任务都要记录模型是否正确呈现了提示词中的关键语义元素。这不仅对模型能力评估有用，对提示词工程也有参考意义。

6. 评测结果出来之后，怎么用才是关键

6.1 先看失败模式分布，而不是只看总分

拿到VGI-Bench的评测结果后，我一般不会先看总通过率，而是先看失败任务集中在哪几个维度。

如果一个模型在物体一致性任务上通过率很高，但在物理合理性任务上大量失败，说明模型的视觉记忆较好，但对物理规则建模较弱。这种模型适合做演示动画、人物动作类视频，而不太适合做需要真实物理反馈的产品演示。

反过来，如果语义忠实度失败较多，说明模型对提示词的解析不够敏感。这种情况下，换模型不是唯一选择，也可以尝试优化提示词，把关键属性放在更显眼的位置。

6.2 按业务场景给能力维度分配权重

不同业务对视频生成模型的能力要求完全不同。比如：

• 广告视频：画面美感和语义忠实度更重要，物理合理性可以稍微宽松。
• 教学演示：时序逻辑和语义忠实度最重要，动作顺序错了会直接误导用户。
• 电影分镜预览：空间关系和物体一致性更重要，镜头切换后物体不能变。
• 智能车视觉仿真：需要场景流畅、空间关系稳定、物体运动符合物理规律，这和汽车行驶中的视觉预期强相关。

所以评测结果不能简单比分数，而是要把能力维度和业务需求对应起来。VGI-Bench的价值在于，它把原本模糊的“哪个模型更好”转换成“哪个模型在哪些维度上更稳”。

6.3 从评测进入提示词工程

评测结果也能反向指导提示词写法。

比如某个模型在“物体数量”上经常出错，可以在提示词里把数量信息提前到句首，避免被长描述稀释。再比如某个模型对动作顺序感知弱，可以把它改成两个短句：先是“拿起杯子”，再是“喝水”，而不是一个长句。

我见过很多团队在评估模型能力之后，直接进入提示词调优，收到过不错的效果。模型能力是固定的，但通过调整输入，可以在一定程度上绕过模型的短板。这也是探针式评测对实际生产最有价值的辅助作用之一。

7. 跑VGI-Bench时最常见的坑和排查顺序

7.1 视频文件生成成功但打开失败

这个问题的原因通常不在模型本身，而是视频编码和保存路径。很多模型默认输出MP4或GIF，但不同环境对编码器的支持不一样。

排查顺序：

1. 先确认文件大小是否为0。如果文件为0字节，说明生成过程中断。
2. 用播放器打开，看是格式不支持还是文件损坏。
3. 检查输出文件的后缀名是否和实际编码格式一致。
4. 查看评测日志里是否记录了完整的视频写入路径。

这类问题看起来和模型能力无关，但它会浪费大量时间。批量评测之前，先手动生成一条视频，确认文件能正常打开，再进入正式任务。

7.2 显存溢出或推理速度越来越慢

显存溢出通常发生在批量任务启动后。可能是单条任务的视频分辨率、帧数设置太高，也可能是并发任务太多。

遇到这种情况，我的建议是：

• 先把分辨率降到模型支持的下限。
• 把视频时长缩短到2秒左右。
• 把并发数调整为1，确认单条任务在资源受限时能正常完成。
• 检查是否有其他程序占用了GPU显存。

不要只盯着报错信息。很多显存溢出问题，不一定出在模型本身，而是环境里同时运行的TensorBoard、浏览器、其他推理进程占了大量显存。

7.3 任务卡住无响应

任务卡住时，先不要直接杀掉进程。先确认以下几点：

1. GPU利用率是否已经降到0。如果是，可能模型在等待输入，或推理进程已经僵死。
2. 日志最后一行是否停在“加载模型”或“生成中”。如果停在加载模型，可能是模型文件损坏或需要重新下载。
3. 磁盘空间是否已满。视频生成过程中如果磁盘满了，任务会一直等待写入完成。

确认之后再决定是重启任务还是调整参数。盲目杀掉进程有可能导致已经生成的部分结果没有保存，下次还要重新跑。

7.4 同一条任务多次评测结果不一致

视频生成模型通常具有随机性。同一条提示词，即使参数完全相同，多次生成的结果也可能有差异。这是正常现象，但会影响评测稳定性。

处理方式有两种：

• 固定随机种子，让同一条任务在相同条件下生成一模一样的视频。
• 增加重复次数，每条任务跑3到5次，然后统计通过率或取主流结果。

如果模型本身不支持固定随机种子，更推荐第二种方式。在探针式评测中，稳定不代表每次结果都一样，而是多次运行的能力分布保持稳定。

8. 我对VGI-Bench这类评测工具的几点实际判断

8.1 它不是取代指标，而是补能力评估这块空白

FVD、CLIP Score这类指标仍然有价值，它们适合衡量整体质量和语义对齐。但视频生成模型的应用越来越广，单靠这些指标已经很难满足对模型能力精细化评估的需求。VGI-Bench的探针式思路补上了“能力维度评估”这块空白。它不是取代指标，而是和指标配合使用。

8.2 本地评测的关键在于流程规范

只要流程规范，一个小型团队也能得到有用的评测结果。流程规范指的是：统一的提示词模板、明确的输出命名规则、完整的日志记录、稳定的随机种子策略、合理的重复次数。这些看起来琐碎，但真正影响评测结论质量。

8.3 能力边界比排行榜更重要

VGI-Bench这类工具最值得关注的不是哪个模型排在前面，而是每个模型的能力边界在哪。一个模型可能在总榜上表现一般，但它只有在物理合理性维度上特别突出，那它依然适合做物理演示类内容。反过来，总榜排名高的模型，如果在物体一致性上频繁翻车，也不一定适合做涉及跨镜头追踪的生成任务。

我非常建议把评测结果按维度画成雷达图或者分组统计表，而不是只看一个综合分。综合分会把模型的能力特点抹平，隐藏真正有价值的信息。

8.4 实际落地时，先跑固定任务集，再扩展自定义任务

如果你准备把VGI-Bench用在团队内部，建议分两步走：

1. 先用基准自带的任务集跑一轮，得到模型基线能力分布。
2. 再根据业务场景增加自定义探针任务，比如“人物转身后服饰不变”“车辆转弯时车身比例稳定”“球体碰撞后按预期方向弹开”。

自定义探针任务不需要追求完美，但要保证描述足够明确、检查点足够具体。只有任务清晰，评测结果才能反馈到模型选择和改进中去。

最后留一个我自己的习惯：评测做完以后，把失败案例的视频片段单独保存到一个目录里，定期翻看。很多时候，指标上的细微差别感知不强，但把失败视频集中看一遍，模型的能力短板会变得非常直观。VGI-Bench这类探针式评测，真正的价值就在于把那些藏在高分指标下的“隐性不聪明”暴露出来，让你在正式使用模型之前，就对它的边界心里有数。