Batch Normalization 和 Group Normalization有何区别？

忘记回家的路的榴莲 2021-08-19 10:58:27

Batch Normalization 和 Group Normalization有何区别？

...全文
1913 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2021-08-19
  • 打赏
  • 举报
 回复

BN是在 batch这个维度上进行归一化，GN是计算channel方向每个group的均值方差.

Group Normalization
当batch size小的时候 Group Normalization 的效果会比 Batch Normalization好.
A Survey of BatchNormalization（原理、背景、算法、演变、优缺点）
A Survey of BatchNormalization（原理、背景、算法、演变、优缺点）。Batch Normalization, 批标准化, 和普通的数据标准化类似, 是将分散的数据统一的一种做法, 也是优化神经网络的一种方法. Batch Normalization 将神经网络每层的输入都调整到均值为 0，方差为 1 的标准正态分布，其目的是解决神经网络中梯度消失的问题. BN操作使得原本偏移的特征数据，如5-11的第一个图，重新拉回到0均值，使进入激活函数的数据分布在激活函数线性区，使得输入数据的微小变化，更明显的体现到激活函数的输出，提升了激活函数对输入数据的区分力。
21. Normalization归一化总结1
1.1 论文链接 1.2 介绍 1.1 论文链接 1.2 介绍
layerNormalization.pdf
layerNormalization论文 layerNormalization论文 layerNormalization
基于Multi-GPU+Pytorch同步Batch-Normalization批归一化-附项目源码-优质项目实战.zip
基于Multi-GPU+Pytorch同步Batch-Normalization批归一化_附项目源码_优质项目实战
高通开发者论坛

2,853

社区成员

5,760

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章