非量化自回归模型在视频生成中的应用研究 - NOVA

怪侠说不说

优质创作者: 编程框架技术领域

领域专家: C/C++技术领域

2024-12-25 20:17:12

非量化自回归模型在视频生成中的应用研究 - NOVA

...全文

72 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

NOVA：AutoRegressive Video Generation Without Vector Quantization——自回归视频生成无需向量量化

现有的自回归视频生成模型（如图像或视频片段通过向量量化转换为离散值标记空间后进行逐标记预测）面临着高保真度和高压缩率难以同时实现的问题。向量量化的标记生成方法需要更多的标记来保证高质量，从而导致图像分辨率或视频序列较长时，计算成本显著增加。在自回归（AR）视觉生成领域，现有方法通常采用栅格扫描预测，导致生成效率较低，且对于大规模视频数据的处理能力有限。提出了一种新的自回归视频生成方法，称为NOVA，通过不使用向量量化的方式进行视频生成建模。

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

GAN 时代的核心贡献确立了视频生成的基本问题框架探索了运动-内容分解、前景-背景解耦、双判别器等关键设计范式展示了 GAN 在单步推理上的效率优势（无需迭代采样）GAN 的致命局限局限具体表现训练不稳定极小极大博弈难以收敛，超参数极度敏感模式崩溃生成器倾向于只生成有限的"安全"样本，缺乏多样性可扩展性天花板难以扩展到开放域的文生视频任务评估信号稀疏判别器只提供一个标量信号，缺乏精细的梯度指导时间一致性不足在长视频上容易出现画面抖动和物体突变论文数量变化。

对于具有时变工作负载的客户，由于其敏捷和精细的扩展以及基于使用的计费模式，与预配置的Aurora或其他替代方案相比，它提供了成本节约。在其他见解中，展示了繁重写入的数据管道如何突出，工作负载如何随时间变化（负载和类型），查询如何具有重复性，以及查询或工作负载的大多数属性呈现非常长尾的分布。我们的模型是负责任地构建的，并致力于客户信任、安全和可靠性。它部署了一个十亿参数的自回归变换器，将原始文本转换为离散代码（“语音代码”），随后是一个基于卷积的解码器，以增量、可流式的方式将这些语音代码转换为波形。

今天深度学习了吗

37,646

社区成员

157

社区内容

发帖

与我相关

我的任务

人工智能图像处理深度学习个人社区浙江省·杭州市

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章