基于第一性原理推导出的白盒子深度网络 ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction

[SoftwareTeacher]

（从马毅老师的微博转载）
基于第一性原理推导出的白盒子深度网络《ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction》一百多页的论文，终于在Journal of Machine Learning Research（JMLR）上正式发表了：网页链接。 这篇论文从它的题目看就备受关注。文章主体投稿到去年在ICML‘21，引起不小争议：它在四个reviewers都一致同意接受的前提下被area chair给无端拒稿了。媒体都有报道。随后，它又几乎以最快速度被JMLR审稿和接受。当时，大家可能对这个新的框架的实用效果如何，存有疑义。我们目的完全在推导严密的数学原理，根本没有不太管什么SOTA不SOTA，即使在这个正式版本里，我们也没有放最好的调参结果。不过随后一系列的发展（包括CTRL等等）证明，正是这项工作，让我们找到了深度网络的目的和来源。现在看来，应该可以把分类与生成模型学习，把监督学习、无监督学习、以及连续学习都作为特例严格统一在同一组基本原理、同一个计算框架下。再没有什么Heuristics 和 Engineering Tricks。NeurIPS后应该会透露更多新进展（包括应用和理论方面）。我近一两年来关于这个题目也应邀做了将近50场次学术报告，包括上周在FAIR Yann LeCun组以及这个月底在ICASSP的大会开场报告。喜欢玩黑盒子的同学，可以继续掷骰子碰运气；只是我们要在原理引导的正确方向上，越走越远、越做越快了。

[CSDN-Ada助手]

您可以前往 CSDN问答-人工智能 发布问题, 以便更快地解决您的疑问