非量化自回归模型在视频生成中的应用研究 - NOVA

怪侠说不说
优质创作者: 编程框架技术领域
领域专家: C/C++技术领域
2024-12-25 20:17:12
...全文
70 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
NOVA：AutoRegressive Video Generation Without Vector Quantization——自回归视频生成无需向量量化
文章介绍了NOVA新型自回归模型用于文本到图像和文本到视频生成。它通过无量化自回归建模，包括时间逐帧和空间逐集预测，解决了现有模型的问题。实验表明，NOVA在数据效率、推理速度等方面表现出色，为下一代视频生成提供了可能。
文生图击败所有扩散SOTA方案！智源研究院等提出NOVA：迈向统一的多任务大模型
文章介绍了新型自回归模型NOVA，它可实现文本到图像和视频的生成。该模型通过时间步和空间集预测分离、双向建模等方法，提高生成效率，降低训练成本，具有良好泛化能力。实验表明，NOVA在图像和视频生成上表现出色，超越了部分现有模型。
阿里开源语音合成工具CosyVoice 2，实时合成。
本文介绍大模型相关知识，2022年底ChatGPT引发关注。还列举多篇论文，如提出并行化自回归视觉生成方法提升效率；OREO方法提高大型语言模型多步推理能力；CLEAR机制加速高分辨率图像生成；CosyVoice 2实现低延迟语音合成；无需量化向量的方法用于自回归视频生成。
视频生成算法全景深度解析：从经典 GAN 到大模型时代
GAN 时代的核心贡献确立了视频生成的基本问题框架探索了运动-内容分解、前景-背景解耦、双判别器等关键设计范式展示了 GAN 在单步推理上的效率优势（无需迭代采样）GAN 的致命局限局限具体表现训练不稳定极小极大博弈难以收敛，超参数极度敏感模式崩溃生成器倾向于只生成有限的"安全"样本，缺乏多样性可扩展性天花板难以扩展到开放域的文生视频任务评估信号稀疏判别器只提供一个标量信号，缺乏精细的梯度指导时间一致性不足在长视频上容易出现画面抖动和物体突变论文数量变化。
2024年度十大热门计算机技术研究论文精粹
本文精选2024年十篇代表性计算机系统与AI交叉方向的研究论文，聚焦云原生数据库（MemoryDB、Aurora Serverless）、LLM驱动的数据库智能运维（Panda）、大语言模型在结构化数据中的应用（表格理解、TTS、Nova系列）、图神经网络异常检测及知识图谱构建（COSMO）等核心技术。涵盖高性能存储架构、资源弹性调度、模型轻量化、多模态生成、因果推理增强的实时预测等关键进展。
今天深度学习了吗

37,553

社区成员

157

社区内容

发帖
与我相关
我的任务
社区描述
深度学习相关博客和资源~
人工智能图像处理深度学习 个人社区 浙江省·杭州市
社区管理员
  • 怪侠说不说
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章