High-Dimensional DA
基于第一性原理推导出的白盒子深度网络 ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区（从马毅老师的微博转载）
基于第一性原理推导出的白盒子深度网络《ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction》一百多页的论文，终于在Journal of Machine Learning Research（JMLR）上正式发表了：网页链接。 这篇论文从它的题目看就备受关注。文章主体投稿到去年在ICML‘21，引起不小争议：它在四个reviewers都一致同意接受的前提下被area chair给无端拒稿了。媒体都有报道。随后，它又几乎以最快速度被JMLR审稿和接受。当时，大家可能对这个新的框架的实用效果如何，存有疑义。我们目的完全在推导严密的数学原理，根本没有不太管什么SOTA不SOTA，即使在这个正式版本里，我们也没有放最好的调参结果。不过随后一系列的发展（包括CTRL等等）证明，正是这项工作，让我们找到了深度网络的目的和来源。现在看来，应该可以把分类与生成模型学习，把监督学习、无监督学习、以及连续学习都作为特例严格统一在同一组基本原理、同一个计算框架下。再没有什么Heuristics 和 Engineering Tricks。NeurIPS后应该会透露更多新进展（包括应用和理论方面）。我近一两年来关于这个题目也应邀做了将近50场次学术报告，包括上周在FAIR Yann LeCun组以及这个月底在ICASSP的大会开场报告。喜欢玩黑盒子的同学，可以继续掷骰子碰运气；只是我们要在原理引导的正确方向上，越走越远、越做越快了。
相关推荐
深度网络压缩文献/代码列表-Awesome Deep Neural Network Compression.zip
深度网络压缩文献/代码列表-Awesome Deep Neural Network Compression.zip【深度网络压缩文献/代码列表】’Awesome Deep Neural Network
Deep Network Interpolation for Continuous Imagery Effect Transition （基于深度网络插值的连续的图像效果转换）
用于连续影像效果转换的深度网络插值 基于深度网络插值的连续影像效果转换
Understanding the difficulty of training deep feedforward neural networks.pdf
### 深度前馈神经网络训练难度理解#### 标题解读- **"Understanding the difficulty of training deep feedforward neural networks
论文笔记Literature Review of Deep Network Compression对应逻辑结构图
这篇论文笔记《Literature Review of Deep Network Compression》对这一主题进行了全面的梳理，通过逻辑结构图的形式，清晰地展示了各种深度网络压缩方法和技术的关联和差异
depth-map-prediction-from-a-single-image-using-a-multi-scale-deep-network
### 深度图预测：基于单张图像的多尺度深度网络#### 摘要与背景本文提出了一种新的方法，用于从单张图像中预测深度图，该方法利用了多尺度深度网络（Multi-Scale Deep Network）。
