Gradients are Not All You Need

OneFlow深度学习框架 2021-11-16 17:47:36

#Gradients are Not All You Need# 可微分编程技术已得到广泛使用,并推动了过去几十年#机器学习# 的发展。#Google# 研究人员讨论了一种常见的基于混沌的故障模式,它出现在各种不同的情况下,包括从循环神经网络和数值物理模拟到训练学习优化器。他们将这种失败追溯到所研究系统的Jacobian矩阵,并提供标准,以说明从业者何时可能预期这种失败会破坏他们基于微分的优化算法。论文: https://arxiv.org/pdf/2111.05803.pdf

img

...全文
172 点赞 收藏 回复
写回复
回复
切换为时间正序
请发表友善的回复…
发表回复
相关推荐
发帖
OneFlow深度学习框架
创建于2021-07-12

186

社区成员

不止于成为世界上最快的开源深度学习框架
帖子事件
创建了帖子
2021-11-16 17:47
社区公告
暂无公告