深度机器学习中的mini-batch的大小对学习效果有何影响？

窗前明月光光 2021-08-19 11:03:30

深度机器学习中的mini-batch的大小对学习效果有何影响？

...全文

1953 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-08-19

打赏
举报

回复

mini-batch太小会导致收敛变慢，太大容易陷入sharp minima，泛化性不好。

mini-batch 是一个相对较小的数据子集，用于训练过程中的迭代更新，而 batch 是整个训练数据集的一次性处理。模型使用每个 mini-batch 的样本来进行前向传播、计算损失和反向传播，然后根据这些样本的梯度更新模型的参数。使用 mini-batch 的主要目的是。在每次迭代时，模型使用整个训练数据集的样本进行前向传播、计算损失和反向传播，然后根据这些样本的梯度更新模型的参数。相比于 mini-batch，使用 batch 的训练过程可能会占用更多的内存和计算资源，因为需要同时处理整个数据集。

推荐阅读： [1] 深度学习中的batch的大小对学习效果有何影响？ - 言有三的回答 - 知乎 [2] 深度学习中的batch的大小对学习效果有何影响？ - 程引的回答 - 知乎 [3] batch size 越大，学习率也要越大小结：优点缺点 batch_size 较大训练时间减少，收敛更加稳定每个epoch更新次数变小，模型达到相同的精度需要的epoch数量 batch_size 较小给梯度下降过程带来更大的随机性，有助于逃离 sharp minimum，使得模型收敛

Mini-Batch Mini-Batch（小批量）是深度学习和机器学习中训练模型的一种方式。它结合了批量梯度下降（Batch Gradient Descent）和随机梯度下降（Stochastic Gradient Descent，SGD）的优点，同时避免了它们的缺点。下面是详细解释： 1. 什么是 Mini-Batch？ Mini-Batch 指的是将训练数据集分成多个小批量（mini-batches），然后每次训练模型时，使用一个小批量的数据进行前向传播、计算损失和梯度更新。具体来

使用训练数据进行学习，就是针对训练数据计算损失函数的值，也就是说,训练数据有100个的话，就要把这 100个损失函数的总和作为学习的指标。要实现对应mini-batch的交叉误差，需要改良之前实现的单个数据的交叉熵误差，让它可以同时处理单个数据和批量数据(数据作为batch集中输人)y的维度为1时，即求单个数据的交叉熵误差时，需要改变数据的形状。因为t中标签是以[2，7，0，9，4]的形式存储的，所以。在以大数据为对象求损失函数的和，需要花费较长的时间，因此，我们从全部数据中选出一部分，

Mini-Batch梯度下降是对BGD和SGD的改良算法，它的优点：通过使用多个样本来估计梯度，减小了SGD中梯度估计的方差，提高了算法的稳定性；同时，相比于BGD，Mini-Batch依然能够高效利用计算资源，尤其在现代GPU等并行计算设备上表现更佳。

高通开发者论坛

2,853

社区成员

5,760

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章