我想问一下，我自己写cuda跑1000轮训练，一开始还比较快，一百轮之后每轮的耗时会越来越慢。有人遇到类似的问题了吗？之前看到都是说GPU训练需要预热，应该会越来越快，为什么会越来越慢呢？内存监控也没

西瓜奶蛋 2023-07-26 18:38:50

我想问一下，我自己写cuda跑1000轮训练，一开始还比较快，一百轮之后每轮的耗时会越来越慢。有人遇到类似的问题了吗？之前看到都是说GPU训练需要预热，应该会越来越快，为什么会越来越慢呢？内存监控也没有出现异常的地方

...全文

548 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

这里大模型训练特指基座大模型的从0开始训练，不包括在2000条数据上SFT这样的小任务。有人说大模型嘛，简单，给我卡就行，等到老板真给你买来了1000张卡你就知道有多难了，老板说，小王，卡买来了，三个月给我搞出来。然后你发现，就算有人把正确的代码，数据，参数全告诉你，你也就够完整跑一次把它训练出来，万一中间服务器停电一次，完蛋交不了活儿了。更别提你要自己写模型代码，调试，想办法评估模型，根据结果反馈调整实验方向，时间和资源完全不够！大模型的训练有三大难点，1.消耗计算资源巨大。

然而在以往的视觉模型开发与应用中，我们更关注模型本身的优化，提升其速度与效果。例如在训练方面，字节跳动一个视频相关的多模态任务，其预处理部分既有多帧视频的解码，也有很多的数据增强，导致这部分逻辑很复杂。很多涉及到工程与产品的算法工程师都知道，虽然我们常常只讨论模型结构和训练任务这类「前沿研究」，但实际要做成一个可靠的产品，中间会遇到很多工程问题，反而模型训练是最轻松的一环了。以图像背景模糊算法为例，常规的图像处理流程中预\后处理主要在 CPU 完成，占据整体 90% 的工作负载，其已经成为该任务的瓶颈。

项目开始于2024年3月初，当时朋友搞到了一台不知道能用多久的A100。这么棒的机器放着也是浪费，就琢磨着尝试从零训练一个小型号的LLM。其实在当时就有不少些这种“从零预训练LLM”的开源项目了，但是大多训练的数据量或者是模型都很小（几块4090+几十G数据就能跑起来），并没有暴露出一些工程上的问题，训练细节也没有分享的特别清晰。因此，我在制定训练LLM计划的时候有两个目标：1.模型参数量和数据量不能特别的demo：参数量上B，数据量上T。

随着开源数据的不断增多、算力价格不断降低，个人或小机构正经预训练一个小型号的LLM并不是遥不可及，希望Steel-LLM系列博客能对您在资源受限的情况下训练LLM产生一些启发或帮助。头一次做耗时这么长的个人项目，笔者精力和资源有限，确实存在一些没做到位的地方，比如：训练tokenizer、数据配比探究、全局数据清洗、模型英文能力较弱等。后续依算力情况，打算基于Steel LLM做一些微调方面的探索（样本筛选等）、强化学习或者是VLM，欢迎关注。

AI“大模型”是相对于传统AI模型而言的，指的是参数规模大、学习能力强的模型。它们拥有强大的数据处理和推理能力，能够应对复杂任务。例如，GPT系列模型不仅可以完成写作任务，还能实现编程、回答问题等多种功能，表现得更加“聪明”。深度学习（）是基于“神经网络”的机器学习方法，特别擅长从复杂数据中提取特征并作出精准预测。如果线性回归是“单核处理器”，那么深度学习就是“多核加速器”。它模拟人脑的神经元，用层层堆叠的“神经网络”来处理数据。换句话说，深度学习就是“开挂的人脑仿真”。输入层。

589

社区成员

2,924

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章