BN、LN、IN和GN的区别与联系？

黄金体验Experience 2021-11-11 11:30:28

BN、LN、IN和GN的区别与联系？

...全文

1850 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-11-11

打赏
举报

回复

内容较多，以下是一篇不错的参考文章，建议直接参考 https://mp.weixin.qq.com/s?__biz=MzkyMDE2OTA3Mw==&mid=2247486031&idx=1&sn=dce380f7e1829eba69ce63db897e5106&chksm=c197b551f6e03c470105f7265eb05e949f23ba66f32c322b97bee808cbc070bc09b66c7178a9&scene=21#wechat_redirect

1. 为什么需要特征标准化 2. 批标准化（Batch Normalization） 3. 其他方法 4. 对比实验

1.1 论文链接 1.2 介绍 1.1 论文链接 1.2 介绍

归一化层，目前主要有这几个方法，Batch Normalization（2015 年）、Layer Normalization （2016 年）、Instance Normalization（2017 年）、Group Normalization（2018 年）、Switc hable Normalization（2018 年）

深度学习归一化算法的分析、比较以及改进——以基于深度学习的猫狗分类任务为例根据经验构建多层卷积神经网络，分别添加不同的归一化算法，针对性的调整超参数以发挥算法最大的性能，实验结果发现，在该实际问题中 BN 效果最佳，GN 效果稍逊一筹，IN 效果次之，LN 效果最差。并且可以考虑在 batch size更小的时候换用 GN 以获得最佳效果。在验证已有的四种归一化算法后，基于已有算法，作者提出了一种新的归一化改进算法——全归一化（FN），并通过不同方式进行了实现，形成了FNBB 和 FNBL 两种算法，分别适于精准识别和快速识别两个不同任务领域，与已有算法进行效果比较，取得了不错的成果

高通开发者论坛

2,852

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章