数据增强与权重衰减的区别？

[码的越多，失去的越多]

数据增强与权重衰减的区别？

[weixin_38498942]

(1) 权重衰减，dropout，stochastic depth等方法，是专门设计来限制模型的有效容量的，用于减少过拟合，这一类是显式的正则化方法。研究表明这一类方法可以提高泛化能力，但并非必要，且能力有限，而且参数高度依赖于网络结构等因素。
 
(2) 数据增强的本质是为了增强模型的泛化能力，没有降低网络的容量，也不增加计算复杂度和调参工程量，是隐式的规整化方法。实际应用中更有意义，所以我们常说，数据至上。