基于第一性原理推导出的白盒子深度网络 ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction

SoftwareTeacher
CSDN副总裁·《编程之美》作者
博客专家认证
2022-05-09 12:49:26

(从马毅老师的微博转载)
基于第一性原理推导出的白盒子深度网络《ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction》一百多页的论文,终于在Journal of Machine Learning Research(JMLR)上正式发表了:网页链接。 这篇论文从它的题目看就备受关注。文章主体投稿到去年在ICML‘21,引起不小争议:它在四个reviewers都一致同意接受的前提下被area chair给无端拒稿了。媒体都有报道。随后,它又几乎以最快速度被JMLR审稿和接受。当时,大家可能对这个新的框架的实用效果如何,存有疑义。我们目的完全在推导严密的数学原理,根本没有不太管什么SOTA不SOTA,即使在这个正式版本里,我们也没有放最好的调参结果。不过随后一系列的发展(包括CTRL等等)证明,正是这项工作,让我们找到了深度网络的目的和来源。现在看来,应该可以把分类与生成模型学习,把监督学习、无监督学习、以及连续学习都作为特例严格统一在同一组基本原理、同一个计算框架下。再没有什么Heuristics 和 Engineering Tricks。NeurIPS后应该会透露更多新进展(包括应用和理论方面)。我近一两年来关于这个题目也应邀做了将近50场次学术报告,包括上周在FAIR Yann LeCun组以及这个月底在ICASSP的大会开场报告。喜欢玩黑盒子的同学,可以继续掷骰子碰运气;只是我们要在原理引导的正确方向上,越走越远、越做越快了。

...全文
325 1 打赏 收藏 举报
写回复
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复
您可以前往 CSDN问答-人工智能 发布问题, 以便更快地解决您的疑问
相关推荐
发帖
High-Dimensional DA

181

社区成员

High-Dimensional DA
社区管理员
  • 程程程序猿啊
  • SoftwareTeacher
加入社区
帖子事件
创建了帖子
2022-05-09 12:49
社区公告
暂无公告