视频大模型架构解析及其芯片级训练部署挑战

[m0_74120090]

课时名称	课时知识点
视频大模型架构解析及其芯片级训练部署挑战	随着Sora和Stable Video Diffusion等模型技术逐渐成熟，视频大模型（VLM）正与短视频产业结合并迎来新的爆发机遇，必将成为互联网和影视产业的热点。本次分享从视频大模型与世界模型的角度，介绍Sora、SVD等视频大模型基本架构、关键技术（包括NaViT、RADM）；探讨视频大模型具体训练流程与部署成本，分析内存墙（Memory Wall）和通信墙对视频大模型带来的训练效率和落地挑战；针对这类大序列模型的算力芯片级训练部署，结合具体项目给出软硬结合的解决方案与系统经验。