SGD对于新手来说是不是有些难以调参？

我是滑板鞋 2021-07-29 13:27:41

SGD对于新手来说是不是有些难以调参？

...全文

1956 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-07-29

打赏
举报

回复

确实有这样的感受，随机梯度下降法（SGD）对于训练深度网络简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化、权重衰减系数、Drop out比例等。这些参数的选择对训练结果至关重要，以至于我们很多时间都浪费在这些的调参上

深度学习如何调参？看看高赞的回答：高赞回答一作者：Towser链接：https://www.zhihu.com/question/41631631/answer/862075836总结一...

转载自：https://www.cnblogs.com/Imageshop/p/14224965.html 侵删作者：初识CV 链接：https://zhuanlan.zhihu.com/p/376068083 来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。前言在日常调参的摸爬滚打中，参考了不少他人的调参经验，也积累了自己的一些有效调参方法，慢慢总结整理如下。希望对新晋算法工程师有所助力呀～作者：山竹小果本文转载自：夕小瑶的卖萌屋原文链接：写给..

深度学习调参有哪些技巧？编辑：Amusi | 来源：知乎 https://www.zhihu.com/question/25097993 目录一、为什么要学习调参？二、调参技巧 1. 评价指标： 2. 损失函数： 3.激活函数选择： 4. 学习率设定： 5. 优化器选择： 6. batch_size 7. 防止过拟合： 8. 残差块与BN层： 9. 数据预处理【对输入】 10.参数随机初始化【对参数】 11.自动调参方法： 12. 过程、结果可视化 13....

深度学习调参有哪些技巧？深度学习的效果很大程度上取决于参数调节的好坏，那么怎么才能最快最好的调到合适的参数呢？求解高质量回答 Jarvix https://www.zhihu.com/question/25097993/answer/153674495 著作权归作者所有。只想说一句：初始化一次惨痛的教训是用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。还有一次给word embed...

本文章参考：写给新手炼丹师：2021版调参上分手册寻找合适的学习率学习率是一个非常重要的超参数，在面对不同规模的网络、不同batch-size、不同优化方式，不同数据集，甚至可能不同时间段训练的合适值都不确定。我们唯一可以做的是在训练中不断寻找最合适当前状态的学习率。比如利用fastai中的lr_find()函数寻找合适的学习率。 how do you find a good learning rate 如何找到好的学习率 Cyclical Learning Rates for Training N

高通开发者论坛

2,853

社区成员

5,760

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章