稀疏低维结构与深度网络有本质的联系 - 学习的出发点,也是终点

SoftwareTeacher SoftwareTeacher 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区

马毅老师的发言

https://weibo.com/3235040884/Lltyxyq5p

人们很早就认识到稀疏低维结构与深度网络有本质的联系。Yann LeCun在深度网络大热之前就在研究用学习的方法寻找稀疏解,称为Learned ISTA(ISTA是求稀疏解的经典迭代优化算法,结构与神经网络很相似)。我在我的新书网页链接 的最后一章也从概念和技术层面上建立起了两者本质的关系。而且很长时间,人们也相信(包括我自己多次讲过)不同类型的神经网络本质上是等价的,区别也就是在寻求高维数据中不同类型的低维结构并将它们(线性)稀疏化。最近看到一个有趣的小文章对有代表性的网络给出了另一种简洁明快的证明:网页链接 用作者的原话:“the arguments that we present are elementary, and in many cases, quite trivial.” (文章所用的数学技巧是很基础甚至肤浅的)。 是的,很多本来很清楚很简单的事实,在各种眼花缭乱的个例和不同实现里(当然还有网络自媒体),给遮掩住了。不故弄玄虚,通过现象看本质,才是科研所追求的。可以很肯定的讲,目前为止所有的深度网络模型都是在做同样的事情:通过计算海量高维数据里的相关性,寻找数据的低维结构。只是绝大多数网络,虽然消耗了大量算力,学到的特征表示(feature representations)仍然是隐含(hidden)的,是很不到位的。这也是我们最近提出,学习的根本目的,应该是要学习到结构化的特征表示。通过编码率减少原理rate reduction,就是要找到类似Linear Discriminative Representation (LDR)一样有明确线性稀疏结构的表示。重要的事情讲三遍:这是所有(机器也好生物也好)学习的出发点,也是终点

 

 

https://weibo.com/3235040884/LlrvNgIzJ

我们最新的数据闭环转录(Closed-Loop Transcription)工作刚刚发表在由MIT的Lizhong Zheng教授和TAMU的Chao Tian教授组织的Entropy杂志关于《信息理论与机器学习的专刊》:网页链接 以前讲过,我个人比较喜欢这项工作,因为它把学习生成(generative)和分类(discriminative)模型统一在了一个极其简单的计算框架下;而且把信息理论(information theory)、闭环控制(closed-loop control)、以及机器学习(machine learning)里面最核心的思想概念统一在了一个可计算的框架里;甚至在一定程度上揭示了自然界有可能也是利用类似的闭环转录系统,通过实现两个普适的优化原理:简约(parsimony)和自洽(self-consistency),来完成对所感知的外部世界进行建模的。 从这个角度出发:对于数据分析理解而言,信息理论给出了目标;控制理论给出了优化框架;而机器学习提供了计算手段。这几个领域其实都只是一个更大的“闭环体系”中的一个有机部分。这几周到处讲学传道,其中最重要的message,就是这个新的认知:机器也好,生物也好,对外部世界的感知与建模才是最普遍、最重要、最宏大的闭环学习与控制系统!果真如此,人工智能也好、生物智能也好,应该是遵从同样的优化原则以及利用同样(有效)的计算原理。(对了,我们把新方法命名为Ctrl,因为一位reviewer认为我们的方法比GAN和VAE有优势,建议我们取个名字,以好区分。)

 

https://weibo.com/3235040884/LkTzObnoE 

大家知道训练深度网络最常用的目标函数是Cross Entropy。前两年斯坦福的David Donoho团队的研究网页链接 发现用Cross Entropy训练网络学习到的特征表示features会有neural collapse的现象,也就是每一类的特征会收敛到一维。当时很多人认为这不一定是一件不好的事情,甚至可能对网络的泛化性generalizability有好处。我当时就不这么认为。这个现象激励了我们研究更正确的目标函数,也就是编码率减小原理:网页链接。这种目标函数与Cross Entropy正好相反,能学习到数据分布更完整的信息并且表示成简约的线性结构。这也成了我们后面一系列基于第一性原理推导出白箱深度网络ReduNet以及数据闭环转录Closed-Loop Transcription的基础。最新的一项研究网页链接 看来验证了我关于neural collapse的理解是正确的。Cross Entropy(广泛用于分类模型或生成模型学习)不是学习数据可泛化representations表示最好的目标;而基于信息理论的编码率才是学习数据分布更精确的度量和优化目标。这个关于模型“简约性”客观的度量,看来是一切数据表示学习的起点,也是终极目标。

...全文

相关推荐

稀疏与低秩建模赋能深度学习

本书探讨了稀疏性和低秩性先验如何与深度学习深度融合,提升模型的可解释性与学习效率。通过结合经典机器学习中的结构化正则化思想与现代深度网络的强大表达能力,书中系统介绍了在计算机视觉、信号处理和数据挖掘等

tequila

深度网络学习调研报告

深度网络学习调研报告   目  录 1.前言............................................... 3 1.1课题研究的背景及意义.......................... 3 1.2国内外研究的现状.............................. 3 1.3本报告的基本内容.

huangchijun11

Low-Dimensional Models for High-Dimensional Data From Linear to

本次ICASSP 2022短课程深入探讨了低维模型,包括信号处理流程、稀疏性和低维结构的应用,以及可扩展凸优化方法。课程内容还涉及了非凸优化方法、深度学习在低维结构中的应用,以及深度网络设计的理论与实

努力+努力=幸运

网络游戏-基于稀疏自动编码深度网络的乳腺图像处理方法.zip

稀疏自动编码器是一种无监督学习方法,其目标是通过训练神经网络来学习输入数据的低维表示,同时保持数据的原始结构和特征。

programyg

通过低秩正则化量化学习稀疏卷积神经网络

因此,迫切需要通过特殊的方式压缩和加速深度网络,本文提出了一种新的低秩稀疏量化(LRSQ)方法,该方法将网络权重进行低比特量化的同时,还能正则化相应的网络结构。

weixin_38586279
评论 3
收藏 已收藏
分享
返回顶部
SoftwareTeacher
SoftwareTeacher 《编程之美》作者 《编程之美》作者领域专家: 产品设计技术领域 领域专家: 产品设计技术领域
High-Dimensional DA 217 成员 37 内容