神经切线核特征值准确预测泛化性

[OneFlow深度学习框架]

#神经切线核特征值准确预测泛化性# 长期以来，寻找#神经网络# 泛化的定量理论一直是#深度学习# 研究的核心目标。#UC伯克利# 的研究人员的最新研究结果表明，通过检查神经网络“神经正切核”的特征系统，可以在学习任意函数时预测其泛化性能。他们的理论准确地预测了测试均方误差，以及网络学习函数的所有一阶和二阶统计数据。此外，使用量化给定目标函数的“可学习性”的度量，他们证明了一个新的“无免费午餐”定理：改进网络对给定目标函数的泛化性必定恶化其对正交函数的泛化性。论文：https://arxiv.org/pdf/2110.03922.pdf