神经网络中的主要难点?

码的越多，失去的越多 2021-05-19 02:58:56

神经网络中的主要难点?

...全文

1876 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-05-20

打赏
举报

回复

过拟合，参数难以调试，梯度弥散等

1 神经网络的难点使用层数较深的神经网络会遇到许多困难，比如：容易过拟合、参数难以调试、梯度弥漫等，针对这些问题有很多trick解决。 2 过拟合过拟合是机器学习中经常遇到的问题，它是指模型预测准确率在训练集上升高，但是在测试集上反而下降了，这意味着泛化性不好，模型只是记忆了当前数据的特征，不具备推广能力。 Hinton教授团队提出了一个思路简单但非常有效的方法：Dropout。其思路

到目前为止，我们例子中使用的神经网络一共只有3层（一个隐藏层）：我们用以上神经网络达到了98%的accuracy 现在我们将以上网络扩展为更深层的神经网络：更深层的神经网络可以学习到不同抽象程度的概念：例如：图像中，第一层学到边角，第二层学到一些基本形状，第三层学到物体概念那么如何训练深度神经网络呢？难点：神经网络的不同层学习的速率显著不同，接近输出层学习速率比较合适时，前面的层学习太慢，有时被困住消失的gradient问题（vanishing gradient problem）： impo

网络的深度增加后，梯度（用于网络参数更新的值）在传播过程中可能会变得非常小（消失）或非常大（爆炸）。这使得它在错误的时候难以进行调试，同时也无法提供其决策过程的透明度。这是因为网络需要在大量的数据上进行前向和后向传播，以更新其数百万的参数。2.过拟合：深度神经网络拥有大量可训练参数，很容易在训练数据上过度学习，即过拟合，这会导致它在未见过的新数据上的表现非常差。4.需要大量的标注数据：深度神经网络通常需要大量标注数据进行训练，这在某些领域内可能是不可行或者成本非常高的。

卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，如像素和音频进行学习，具有稳定的效果且对数据没有额外的特征工程要求。ImageNet挑战赛：CNN在图像分类任务中取得了巨大的成功，其中最著名的是AlexNet，它在2012年的ImageNet大规模视觉识别挑战赛（ILSVRC）中一举夺冠，引领了深度学习在计算机视觉领域的研究热潮。因此，如何提高卷积神经网络的可解释性是一个值得研究的问题。

为了克服这些难点，研究者们提出了许多优化方法和技术，如使用更有效的激活函数、采用正则化技术、设计更复杂的网络结构（如卷积神经网络、循环神经网络等）以及使用更先进的优化算法（如Adam、RMSprop等）。此外，前馈神经网络还可以应用于BP网络（多层前馈网络）和RBF网络（径向基函数神经网络）等，模拟人脑进行自主学习，处理模糊甚至不规则的推理，识别图像和声音等。激活函数：为了引入非线性因素，使得神经网络能够学习、模拟更复杂的系统，通常会在神经元的输出端使用激活函数，如ReLU、Sigmoid、Tanh等。

高通开发者论坛

2,853

社区成员

5,760

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章