CogVideoX - 大规模基于扩散Transformer的文字到视频生成模型

怪侠说不说

优质创作者: 编程框架技术领域

领域专家: C/C++技术领域

2024-10-14 10:09:44

CogVideoX - 大规模基于扩散Transformer的文字到视频生成模型

...全文

64 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本文介绍CogVideoX，一种基于扩散Transformer的大规模文本到视频生成模型。通过3D因果VAE压缩时空信息，结合专家自适应LayerNorm和3D全注意力机制，有效提升文本-视频对齐与长时连贯性。采用渐进式训练策略支持多分辨率与时长输入，显著增强生成质量与动态表现力。

Wan是阿里巴巴推出的开源大规模视频生成模型系列，包含1.3B和14B两个参数规模版本，基于Diffusion Transformer架构，创新性引入时空变分自编码器（VAE）、可扩展预训练策略与自动化评估指标。支持图像到视频、指令驱动编辑、个性化生成及中英文视觉文本生成，1.3B模型仅需8.19GB显存即可在消费级GPU运行，14B模型在多基准测试中显著超越现有开源及商业方案。

Wan是一款开源多模态视频生成模型，融合Diffusion Transformer（DiT）与自研时空VAE，实现高效视频压缩与高质量生成。其核心技术包括因果结构的3D时空VAE、基于Flow Matching的DiT主干、三重过滤数据流水线及多维并行训练策略。推理端支持扩散缓存、FP8/INT8量化与Streamer流式架构，并提出面向动态性、图像质量与指令遵循的Wan-Bench评估体系。

微软VideoVLA系统将视频生成模型用于机器人控制，通过双重预测机制（动作规划+视觉结果生成）实现任务前“脑内预演”。系统基于扩散变换器架构，融合T5文本编码与3D-causal VAE视觉编码，在仿真与真实环境中展现出强泛化能力与跨机器人技能迁移能力。其核心依赖视频生成模型隐含的物理世界理解，但受限于推理速度（~3Hz）及复杂长期任务处理能力。

GR00T N1是一个面向通用人形机器人的开放视觉-语言-动作（VLA）基础模型，采用双系统端到端架构：System 2为10Hz视觉语言模块（VLM），负责环境理解与任务解析；System 1为扩散Transformer模块，基于动作流匹配生成实时运动指令。模型融合真实机器人轨迹、人类视频及合成数据（共592.9M帧），支持跨具身泛化，在RoboCasa、DexMG等仿真基准及GR-1真实机器人上验证了语言条件双手操作的高效性。

今天深度学习了吗

37,482

社区成员

157

社区内容

发帖

与我相关

我的任务

人工智能图像处理深度学习个人社区浙江省·杭州市

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章