关于线性数据与非线性数据

[jlj1986]

最近在做实验时遇到了线性与非线性数据的处理问题，我用了PCA（主元分析方法），这种方法是针对线性数据的降维方法；而还有流形学习的一些方法，比如Isomap，LLE等等，是非线性数据的降维方法。

我要处理字符0到9的1000幅二值化图像（每种图像100幅），目的是进行训练，然后生成分类器进行数字字符图像的分类。
把每幅20X20的图像变成一个400维的向量，然后把1000个向量组成一个大矩阵，然后进行训练，在训练之前，需要进行降维，提取数据中的有用的信息。

PCA用在这里效果不错，不知道流形学习的方法效果怎么样，我想试试，但是不知道我处理的这些数据如果用流形学习的方法是不是不太合适，因为我不知道我处理的这些数据是不是非线性的。

我想知道谁能比较形象的解释下，线性数据和非线性数据的差异在哪里呢？

[jlj1986]

顶下，有人知道么？

[wujpbb7]

我也不是很懂，随便说说：
线性数据是不是可以用 直线方程 拟合 的数据集，而非线性是用 二次以上 方程 拟合的 数据集合。
一般来说，拟合的越好，泛化能力越差，我用过 PCA 和 KPCA，发现PCA 简单有效，重构特好，KPCA比较麻烦，还要拖个核矩阵（是用训练样本生成的），重构能力还不如 PCA。
Isomap，LLE 没用过。

[jlj1986]

[Quote=引用 2 楼 blueblood7 的回复:]

我也不是很懂，随便说说：
线性数据是不是可以用 直线方程 拟合 的数据集，而非线性是用 二次以上 方程 拟合的 数据集合。
一般来说，拟合的越好，泛化能力越差，我用过 PCA 和 KPCA，发现PCA 简单有效，重构特好，KPCA比较麻烦，还要拖个核矩阵（是用训练样本生成的），重构能力还不如 PCA。
Isomap，LLE 没用过。
[/Quote]

我在做门牌数字识别，其中用了PCA，效果不错，但是上升到写论文的角度，这个方法又显得太简单，所以我想尝试复杂点的方法，我看了资料说Isomap，LLE等流行学习方法不具有处理新数据的能力。