案例38：使用回归策略预测英伟达股票走势、步骤6

码农老关【关东升】 2025-04-26 13:46:56

课时名称	课时知识点
案例38：使用回归策略预测英伟达股票走势、步骤6	使用优化后的模型再次预测股票走势：检验优化模型的实际预测效果。

...全文

4 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Transformer 生成为访存密集型任务，显存及其带宽限制算力利用。 Transformer 作为自回归模型，生成每一个新的 token，都需要将所有输入过的token 反复计算，实际产业中，会将已经计算过的量（K、V 值）预存下来，避免重复计算，导致每生成一个 token，都需要与显存进行数据交互（访存），导致相比计算，Transformer 模型在生成过程中对访存的需求更高。目前全球最先进 AI 芯片的计算速度“远快于”显存带宽。我们认为，针对大模型推理这类访存密集型任务，对其算力需求的估计，不能单单考虑其 FLOPs 的需求，更重要的瓶颈在于访存。

大数据产业创新服务媒体——聚焦数据· 改变商业A科技公司，曾是国产化的急先锋。它们的目标明确：摆脱对英伟达的依赖，打造完全自主的技术体系。他们相信，随着国产GPU的崛起，自己能够在国际舞台上拥有一席之地。于是，一场雄心勃勃的计划展开了：全面替换现有的英伟达 GPU，转向国产GPU。一切看起来都很美好。然而，现实总是比梦想来得残酷。很多情况，都是刚开始团队士气高涨，新硬件的部署进展顺利。可问题很快...

VILA-U是由清华大学、MIT和英伟达联合提出的一种融合视觉理解与生成的统一基础模型。它旨在通过统一的自回归下一个标记预测框架，实现视觉和文本内容的理解与生成，从而简化模型架构并提升性能。这一模型将视频、图像、语言的理解和生成能力集于一身，采用端到端的自回归下一个标记预测框架，无需依赖额外的组件，如扩散模型。通过统一的视觉塔，将离散的视觉标记与文本输入对齐，增强了视觉感知能力。VILA-U标志着视觉语言模型(VLMs)领域的一次重要突破。今天，我们来探讨分析这篇论文。

本文介绍了Cosmos World Foundation Model Platform，这是一个旨在帮助开发者构建定制化世界模型以推进物理AI系统发展的平台。物理AI系统通过配备传感器和执行器，能够观察和交互现实世界，如自动驾驶汽车。研究者们提出了一个世界基础模型（WFM），这是一个物理世界的数字孪生模型，物理AI可以与之安全地交互。WFM作为解决方案，帮助开发者解决数据扩展问题，加速物理AI技术的发展。

Nemotron-4-340B-Base 模型架构是一种标准的仅解码器 Transformer 架构，具有因果注意力掩码、旋转位置嵌入 (RoPE)、SentencePiece tokenizer 等。Nemotron-4-340B-Base 的超参数如表 1 所示。它有 94 亿个嵌入参数和 3316 亿个非嵌入参数。下表为 Nemotron-4-340B-Base 模型的一些训练细节，表中总结了批大小渐变的 3 个阶段，包括每次迭代时间和模型 FLOP/s 利用率。

关东升的课程社区_NO_5

1

社区成员

635

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章