Gradients are Not All You Need

[OneFlow深度学习框架]

#Gradients are Not All You Need# 可微分编程技术已得到广泛使用，并推动了过去几十年#机器学习# 的发展。#Google# 研究人员讨论了一种常见的基于混沌的故障模式，它出现在各种不同的情况下，包括从循环神经网络和数值物理模拟到训练学习优化器。他们将这种失败追溯到所研究系统的Jacobian矩阵，并提供标准，以说明从业者何时可能预期这种失败会破坏他们基于微分的优化算法。论文： https://arxiv.org/pdf/2111.05803.pdf