深度学习的要点是什么？

[weixin_32171271]

深度学习的要点是什么？

[weixin_38498942]

1. 大数据
2. 模型
 
深度神经网络（DNN）：来源于传统神经网络（如 MLP），通常为前馈神经网络。
 
卷积神经网络 (CNN)：来源于循环型神经网络，理论上网络具有无限深度。受 Hubel 和 Wiesel 1962 年对视觉皮质的研究。
 
深度信任网络 (DBN)：一种基于概率的生产型网络。(有向/无向)
 
深度玻尔兹曼机 (DBM): 一种二进制型的马尔可夫随机场。(无向) 其他：深度核心网络、深度自编码网络
 
3. 优化算法和技巧
 
梯度递减算法：随机梯度递减、批量梯度递减、小批量梯度递减
 
反向传播算法：由深度网络最后一层反向传播误差信号，一次调整对应参数
 
逐层学习算法：将每层网络单独学习后再组成深层网络统一学习
 
漏失学习算法：在学习时，随机抛弃每一层中的部分神经元，用以避免产生过度学习
 
CD 算法：由真实数据开始运行吉布斯链，仅运行几步就停止