稀疏低维结构与深度网络有本质的联系 - 学习的出发点，也是终点

马毅老师的发言

https://weibo.com/3235040884/Lltyxyq5p

人们很早就认识到稀疏低维结构与深度网络有本质的联系。Yann LeCun在深度网络大热之前就在研究用学习的方法寻找稀疏解，称为Learned ISTA（ISTA是求稀疏解的经典迭代优化算法，结构与神经网络很相似）。我在我的新书网页链接 的最后一章也从概念和技术层面上建立起了两者本质的关系。而且很长时间，人们也相信（包括我自己多次讲过）不同类型的神经网络本质上是等价的，区别也就是在寻求高维数据中不同类型的低维结构并将它们（线性）稀疏化。最近看到一个有趣的小文章对有代表性的网络给出了另一种简洁明快的证明：网页链接 用作者的原话：“the arguments that we present are elementary, and in many cases, quite trivial.” （文章所用的数学技巧是很基础甚至肤浅的）。 是的，很多本来很清楚很简单的事实，在各种眼花缭乱的个例和不同实现里（当然还有网络自媒体），给遮掩住了。不故弄玄虚，通过现象看本质，才是科研所追求的。可以很肯定的讲，目前为止所有的深度网络模型都是在做同样的事情：通过计算海量高维数据里的相关性，寻找数据的低维结构。只是绝大多数网络，虽然消耗了大量算力，学到的特征表示（feature representations）仍然是隐含（hidden）的，是很不到位的。这也是我们最近提出，学习的根本目的，应该是要学习到结构化的特征表示。通过编码率减少原理rate reduction，就是要找到类似Linear Discriminative Representation （LDR）一样有明确线性稀疏结构的表示。重要的事情讲三遍：这是所有（机器也好生物也好）学习的出发点，也是终点

https://weibo.com/3235040884/LlrvNgIzJ

我们最新的数据闭环转录（Closed-Loop Transcription）工作刚刚发表在由MIT的Lizhong Zheng教授和TAMU的Chao Tian教授组织的Entropy杂志关于《信息理论与机器学习的专刊》：网页链接 以前讲过，我个人比较喜欢这项工作，因为它把学习生成（generative）和分类（discriminative）模型统一在了一个极其简单的计算框架下；而且把信息理论（information theory）、闭环控制（closed-loop control）、以及机器学习（machine learning）里面最核心的思想概念统一在了一个可计算的框架里；甚至在一定程度上揭示了自然界有可能也是利用类似的闭环转录系统，通过实现两个普适的优化原理：简约（parsimony）和自洽（self-consistency），来完成对所感知的外部世界进行建模的。 从这个角度出发：对于数据分析理解而言，信息理论给出了目标；控制理论给出了优化框架；而机器学习提供了计算手段。这几个领域其实都只是一个更大的“闭环体系”中的一个有机部分。这几周到处讲学传道，其中最重要的message，就是这个新的认知：机器也好，生物也好，对外部世界的感知与建模才是最普遍、最重要、最宏大的闭环学习与控制系统！果真如此，人工智能也好、生物智能也好，应该是遵从同样的优化原则以及利用同样（有效）的计算原理。（对了，我们把新方法命名为Ctrl，因为一位reviewer认为我们的方法比GAN和VAE有优势，建议我们取个名字，以好区分。）

https://weibo.com/3235040884/LkTzObnoE 

大家知道训练深度网络最常用的目标函数是Cross Entropy。前两年斯坦福的David Donoho团队的研究网页链接 发现用Cross Entropy训练网络学习到的特征表示features会有neural collapse的现象，也就是每一类的特征会收敛到一维。当时很多人认为这不一定是一件不好的事情，甚至可能对网络的泛化性generalizability有好处。我当时就不这么认为。这个现象激励了我们研究更正确的目标函数，也就是编码率减小原理：网页链接。这种目标函数与Cross Entropy正好相反，能学习到数据分布更完整的信息并且表示成简约的线性结构。这也成了我们后面一系列基于第一性原理推导出白箱深度网络ReduNet以及数据闭环转录Closed-Loop Transcription的基础。最新的一项研究网页链接 看来验证了我关于neural collapse的理解是正确的。Cross Entropy（广泛用于分类模型或生成模型学习）不是学习数据可泛化representations表示最好的目标；而基于信息理论的编码率才是学习数据分布更精确的度量和优化目标。这个关于模型“简约性”客观的度量，看来是一切数据表示学习的起点，也是终极目标。