【大模型评测基准】视频生成模型权威评测基准VBench

司南评测 2025-02-27 14:17:31

VBench，视频生成模型权威评测基准，用于评估多模态大模型的视频生成质量，包含 16 个视频生成维度及 1 个人类偏好注释数据集。

亮点一览：

包含16个分层和解耦的评测维度
评测方案与人类的观感与评价对齐
代码及提示词体系全面开源
简单部署，一键安装

最新发布的 VBench++ 支持更广泛的视频生成任务，包括文本生成视频和图像生成视频，并配有一套自适应的图像套件，以便在不同的设置下进行公平评估。不仅评估技术质量，还评估生成模型的可信度，从而提供对模型性能的全面评估。

司南评测集社区已收录VBench，感兴趣的友友欢迎下载使用！

https://hub.opencompass.org.cn/dataset-detail/VBench

...全文

73 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

VBench 不仅包含了 16 个分层和解耦的评测维度，确保了评估的全面性和细致度，还通过贴近人类感知的评测方法，提高了评估结果的真实性和可靠性。最新发布的 VBench++ 支持更广泛的视频生成任务，包括文本生成视频和图像生成视频，并配有一套自适应的图像套件，以便在不同的设置下进行公平评估。，榜单内容多次被知名视频模型厂商、头部科技媒体引用，能否在 VBench 榜单上名列前茅，已成为衡量视频生成模型性能的重要参考标准，深刻影响着行业的技术发展方向和产品研发策略。VBench 榜单目前已经成为。

Q: 这篇论文试图解决什么问题？ A: 这篇论文提出了一个名为VBench的综合基准测试套件，旨在解决视频生成模型评估中存在的挑战。具体来说，它试图解决以下问题： 1. 现有评估指标与人类感知不一致：传统的视频生成质量评估指标，如Inception Score (IS)、Fréchet inception distance (FID)、Fréchet Video Distance (FVD) 和 CLIPSIM，与人类的判断并不完全一致。这意味着这些指标可能无法准确反映人类对生成视频质量的真实感受。 2.

2024年7月31日，和。本次更新进一步丰富了测评基准的广度和深度。其中，Runway Gen-3 是由位于美国的公司 Runway 开发，代表了海外模型的先进水平。与此同时，智谱清影、可灵网页版和 PixVerse V2 均由国内领先的人工智能公司研制，展示了中国在视频生成技术领域的卓越成果。AIGVBench 通过引入这些新模型，旨在为用户提供更全面的评测数据，帮助他们在选择视频生成工具时作出更为明智的决策，促进中文视频生成领域的研究、开发与技术创新。

关注公众号，发现CV技术之美VBench是什么？AI视频生成这块儿，最近可真是火得不得了。这几个月以来，好几个视频生成模型相继亮相。各个高校实验室、互联网巨头AI Lab、创业公司纷纷加入了AI视频生成的赛道。Pika、Gen-2、Show-1、VideoCrafter、ModelScope、SEINE、LaVie、VideoLDM等视频生成模型让人眼前一亮。随着AI视频生成技术的快速发展，大家都...

我们发现在非常简单的位置移动或者属性变化上，所有模型的效果都不好，这说明现在的模型的训练数据中并没有显式包括位置、属性变化这一类的文本。现在的模型都还不支撑故事级别（5 个连续的小情节）的视频生成，其中最主要的原因是现在的视频生成模型的时长都还在 5-10 秒这个级别，还远远没有到考虑分钟级别的故事叙述。在下面这些常被网友吐槽的场景中，模型往往暴露了缺乏「内在真实度」的短板。作为业内权威的视频生成评测体系，主要关注视频的视觉观感，例如每一帧的清晰度、帧与帧之间的平滑衔接，以及视频和文本描述间的基本一致性。

12,013

社区成员

1,251

社区内容

发帖

与我相关

我的任务

大数据人工智能开源个人社区天津·武清区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章