高维小样本下结构方程模型新解法：分治策略与可行集估计

1. 项目概述：高维小样本下的SEM新解法

在心理学、社会学、计量经济学等领域，结构方程模型（SEM）是检验潜变量之间复杂因果关系的“瑞士军刀”。它的核心逻辑很直观：研究者先提出一个关于变量间关系的理论模型，然后看这个模型“生成”的协方差矩阵，与我们从实际数据中计算出的样本协方差矩阵，到底有多像。越像，说明模型越能解释数据。这套基于协方差结构拟合的范式，在过去几十年里已经发展得非常成熟。

然而，这套成熟的方法体系有一个几乎致命的前提：它严重依赖大样本理论。传统的最大似然估计要求样本协方差矩阵是满秩、非奇异的。这在实际中意味着什么？意味着你的样本量 n 必须大于你测量的变量数 p。在问卷调研中，这可能意味着你需要几百甚至上千份有效问卷，才能稳定地估计一个包含几十个题项的模型。

但现实研究往往比理想骨感得多。你可能会遇到这些场景：研究一个罕见病患者群体，全国可能只有几十个病例，但为了全面评估，你依然测量了上百个生理和心理指标（p > n）；在商业场景中，针对某个高端小众市场进行早期探索，只能拿到少量用户数据，却需要评估大量潜在的影响因素。在这些“高维小样本”（High-Dimension, Low-Sample-Size, HDLSS）设定下，传统SEM直接“罢工”——样本协方差矩阵是奇异的，似然函数无法定义，所有基于渐近理论的统计检验全部失效。

我最近在复现和测试一篇2026年的预印本论文时，深入实践了其中提出的一种新方法。这篇论文的核心，就是正面迎击 p > n 这个“禁区”。它不再执着于用一个病态的、奇异的全协方差矩阵去拟合模型，而是换了一个聪明的思路：将协方差矩阵“分而治之”。它把变量分成两块，利用每块内部变量数小于样本量（n > p1, n > p2）时，块内自协方差矩阵仍可良好估计的性质，先构建一个参数可行集。然后，再通过一个基于相对误差的、对噪声更稳健的互协方差约束，从这个可行集中筛选出最合理的解。

简单说，传统方法像是要求你用一张模糊的全景照片去精准临摹一幅画，而新方法则是让你分别看清画的左半部分和右半部分的细节（自协方差），然后根据左右两部分之间的大致对应关系（互协方差），去推断整幅画的样貌。这个方法的价值在于，它首次为协方差结构分析在 p > n 的极端场景下，提供了一个理论上可行、实践上可操作的框架。尤其对于需要从有限数据中探索变量间方向性关系（例如，A对B是正向还是负向影响）的探索性研究，它提供了一种新的可能性。下文，我将结合自己的实操经验，为你拆解这个方法的核心思想、实现细节、避坑指南，并展示如何将其应用于一个真实的小样本数据集。

2. 方法核心：分治策略与可行集估计

面对 p > n 时样本协方差矩阵 S 秩不足（rank(S) ≤ n < p）的根本性难题，直接进行全局优化注定失败。新方法的巧妙之处在于它进行了一次战略性的退却和重组。它不试图一次性解决所有问题，而是通过拆解问题并利用不同部分的可估计性差异，构建了一条迂回但可行的路径。

2.1 问题拆解：为何自协方差更“可靠”？

首先，我们需要理解为什么拆分协方差矩阵是合理的。假设我们将 p 个观测变量划分为两个子集：x (维度 p1) 和 y (维度 p2)，且满足 n > p1 和 n > p2，但 n < p1 + p2。此时，虽然整体协方差矩阵 S 是奇异的，但两个子集内部的样本协方差矩阵 Sxx 和 Syy 在数据服从连续分布时，以概率1是正定的。

注意：这里的划分不是随意的。在实践中，它通常对应理论模型中两个不同的潜变量（构念）对应的测量指标集。例如，x 是“工作压力”的7个测量题项，y 是“职业倦怠”的5个测量题项。只要样本量大于7且大于5，我们就能分别估计这两个潜变量内部的因子结构。

这种划分带来了一个关键的估计学上的优势：对于 Sxx 和 Syy，经典的大样本理论（如Wishart分布）仍然近似适用。我们可以相对稳定地用最大似然法来拟合每个块内的单因子模型，估计出因子载荷向量 Λx、Λy 以及独特的误差方差 Θδ、Θε。这一步，可以看作是利用局部信息稳固基本盘。

2.2 模型简化：单因子与秩一约束

为了在 p > n 的“险境”中求取唯一解，必须对模型施加极强的可识别性约束。原论文采用了最简化的设定：

1. 单因子模型：每个变量块（x 和 y）背后只用一个潜变量（ξ 和 η）来解释。这直接避免了多因子模型中令人头疼的旋转不确定性问题（即因子载荷矩阵乘以一个旋转矩阵后，协方差结构不变）。
2. 秩一互协方差：假设两个潜变量之间的协方差结构是秩一的，即 Σxy = β Λx Λyᵀ。这里的 β 就是最终我们关心的结构系数，它刻画了 ξ 对 η 的影响效应。这个假设将原本需要估计一个 p1 × p2 矩阵的问题，简化为了估计一个标量 β。

加上固定潜变量方差为1、固定每个因子载荷向量中一个元素的尺度（例如设 λx1 = λy1 = 1），整个模型的参数就变得可识别了。虽然这个模型非常简单，但它恰恰是能在高维灾难中存活下来的“最小可行模型”。它用最大的简化，换取了在极端条件下的可估计性。

2.3 两阶段可行集估计框架

这是整个方法最核心的架构，我将其理解为“先广撒网，再精准筛选”的两阶段过程。

第一阶段：基于自协方差的可行集构建 这一步的目标不是求一个“点估计”，而是求一个“集合”。我们通过最大化似然函数（或最小化负对数似然函数 ℓself）得到最优参数 θ̂_self。但由于优化问题非凸，可能存在多个局部最优解。因此，我们定义一个容忍度为 ϵ_n 的可行集： Θ_self = { θ: ℓself(θ) ≤ ℓself(θ̂_self) + ϵ_n } 这个集合包含了所有在统计意义上与最优解“差不多好”的参数组合。ϵ_n 通过自助法（Bootstrap）来确定，用以量化估计误差。这一步的关键在于，它承认在高维小样本下，我们无法精确锁定唯一真值，但可以划定一个可能包含真值的范围。

第二阶段：基于互协方差的约束筛选 第一阶段得到的 Θ_self 可能仍然很大。我们需要利用块间关系 Σxy 来进一步收缩这个集合。但直接使用样本互协方差矩阵 Sxy 在 p > n 下是极不稳定的。因此，论文引入了一个经过阈值处理的稀疏估计量 Σ̃xy，并构建相对误差约束： F_cross = { (θ, β): ||Σ̃xy - β Λx(θ)Λy(θ)ᵀ||_F² / ∆_xy ≤ ξ_n } 其中，∆_xy = ||Σxy||_F² 是互协方差矩阵的总信号能量，ξ_n 是另一个通过自助法和理论界确定的容忍参数。这个约束的意思是：只保留那些能使得模型隐含的互协方差 (β Λx Λyᵀ) 与稀疏估计的互协方差 (Σ̃xy) 之间的相对误差足够小的参数组合 (θ, β)。

最终估计：在最终得到的可行集 F_cross 中，选择那个使得模型隐含的全协方差矩阵 Σ(θ, β) 与样本协方差矩阵 S 的标准化残差（SRMR）最小的参数组合 (θ̂, β̂) 作为我们的点估计。

实操心得：这个框架的精髓在于其对“不确定性”的坦诚处理。传统方法假装自己能得到一个精确解，但在 p > n 时这种“精确”是虚假的。新方法则明确承认不确定性，并用“可行集”来表征它。最终的点估计是从这个考虑了不确定性的集合中选出的“最佳代表”，其统计性质（如置信区间）需要通过自助法来评估，而不是依赖可能失效的渐近公式。

3. 关键实现细节与算法步骤

理解了核心思想后，要动手实现，还需要攻克几个技术难点。以下是我在复现过程中梳理出的关键步骤和注意事项。

3.1 稀疏互协方差矩阵估计

这是整个方法中技术含量最高的一步。在 p > n 时，样本互协方差矩阵 Sxy 的每个元素都充斥着巨大的噪声。直接使用它等于在噪声里找信号。论文借鉴了高维协方差估计中的阈值化思想。

基本思想：假设真正的互协方差矩阵 Σxy 是稀疏的，即只有少数几对变量之间存在强相关，大部分元素为零或接近零。那么，我们可以通过将 Sxy 中绝对值较小的元素设为零，来去除噪声，得到一个稀疏估计 Σ̃xy。

具体操作：

1. 计算样本互协方差矩阵 Sxy。
2. 估计总信号能量 ∆_xy。这里不能直接用 ||Sxy||_F²，因为它包含了噪声的能量。论文推荐使用一种称为“扩展交叉数据矩阵（ECDM）”的方法来估计，这种方法对高维噪声更稳健。
3. 将 Sxy 中所有元素的绝对值从大到小排序。
4. 从最大的元素开始累加其平方值，直到累积和超过估计的 ∆_xy。保留这些对应的元素，将其余元素置零，从而得到 Σ̃xy。

避坑指南：阈值的选择是门艺术。如果阈值太宽松，保留太多元素，则去噪不彻底，Σ̃xy 仍然很嘈杂；如果阈值太严格，可能把真实的弱信号也砍掉了。上述基于能量保留的自动阈值方法，其效果严重依赖于 ∆_xy 估计的准确性。在实践中，我发现对于信噪比极低的数据，ECDM方法估计的 ∆_xy 可能仍有偏差，需要多次尝试并结合先验知识进行微调。

3.2 容忍参数 ϵ_n 与 ξ_n 的自助法确定

这两个参数定义了我们的“可行”范围有多宽。它们不能主观设定，必须由数据驱动。

• ϵ_n 的确定：用于定义自协方差似然函数的可行集边界。

  1. 从原始数据 {z_i} 中进行 B 次（如100次）有放回自助抽样，得到 B 个Bootstrap样本。
  2. 对每个Bootstrap样本 b，计算其样本协方差矩阵 S^{(b)}，并拟合自协方差模型得到参数估计 θ^{(b)}。
  3. 计算差异：Δ_b = ℓ_self(θ̂; S^{(b)}) - ℓ_self(θ^{(b)}; S^{(b)})。这里 θ̂ 是基于原始数据得到的全局最优解。Δ_b 衡量了Bootstrap样本下最优解与全局最优解之间的似然差异。
  4. 取 {Δ_b} 的 (1-α) 分位数（例如95%分位数）作为 ϵ_n。这意味著我们允许由于抽样波动导致的似然值恶化，只要不超过这个界限，都认为是“可行”的。

• ξ_n 的确定：用于定义互协方差相对误差的容忍度。

  1. 同样进行 B 次自助抽样。
  2. 对每个Bootstrap样本 b，计算其稀疏互协方差估计 Σ̃_xy^{(b)} 和信号能量估计 ∆̂_xy^{(b)}。
  3. 计算相对误差：T^{(b)} = ||Σ̃_xy^{(b)} - Σ̃_xy||_F² / ∆̂_xy^{(b)}。这衡量了Bootstrap估计与原始估计之间的波动。
  4. 取 {T^{(b)}} 的 (1-α) 分位数作为 q_{1-α}。
  5. 结合理论推导出的误差率 r_{n,p} = log(p)/n + (tr(Σ_xx²)¹ᐟ⁴ tr(Σ_yy²)¹ᐟ⁴) / (√n ∆_xy)，计算常数估计 Ĉ = q_{1-α} / r_{n,p}。为防止极端值，对其进行截断 Ĉ_trunc = min(Ĉ, C_max)。
  6. 最终，ξ_n = Ĉ_trunc * r_{n,p}。

这个过程虽然计算量较大，但它是为高维小样本量身定做的误差量化方法，比任何经验法则都更可靠。

3.3 完整算法流程与优化

将上述步骤串联起来，就得到了一个完整的估计算法。我用伪代码结合说明来展示：

优化与数值稳定技巧：

• 非凸优化：第2.a步和第4.a步都涉及非凸优化。需要使用多组随机起始值进行优化，以避免陷入局部最优。我通常使用 L-BFGS-B 或 Nelder-Mead 算法，并运行10-20次不同起点的优化，选择似然值最好（或SRMR最小）的结果。
• 正定约束：在优化 ℓ_self(θ) 时，需确保误差方差矩阵 Θδ 和 Θε 的对角元素为正。在代码实现中，通常对其取对数进行优化，以保证正值。
• 并行计算：Bootstrap过程是独立的，可以非常方便地进行并行计算，大幅缩短运行时间。

4. 模拟实验：方法性能深度剖析

为了验证方法的有效性并理解其行为边界，我按照论文思路设计并运行了模拟实验。实验分为两个场景，能让我们看清方法的优势和局限。

4.1 场景一（Case 1）：理想稀疏假设下的表现

在这个场景下，数据完全按照方法所假设的单因子稀疏模型生成。我们固定样本量 n=10，让变量维度 p1=p2 从2逐步增加到9。我们特别关注两个区域：

• 区域1 (Setting 1): n > p1+p2。此时全样本协方差矩阵非奇异，传统SEM理论上仍可使用。
• 区域2 (Setting 2): n > p1 且 n > p2，但 n ≤ p1+p2。此时自协方差可估，但全协方差矩阵奇异，传统SEM失效。

我们将新方法与三种现有方法对比：传统最大似然SEM、L1正则化SEM（LASSO-SEM）、L2正则化SEM（Ridge-SEM）。

有效性对比： 下表清晰地展示了方法的“生存能力”：

结果一目了然：当进入 p1+p2 > n 的领域（即维度为5及以上），所有基于全协方差矩阵的现有方法全部失效（无法计算或结果无意义），而新方法始终保持100%的有效估计率。这证明了新方法的核心价值：它将SEM的适用边界从 p < n 拓展到了 p > n 的领域。

估计精度与偏差分析： 在Setting 1（传统方法仍可用）中，我们进一步比较估计质量。

• 传统SEM：当 p=4（接近奇异的边界）时，估计值出现极端异常值，方差和均方根误差（RMSE）暴增，表现出极不稳定。
• 正则化方法(L1/L2-SEM)：通过正则化压制了方差，估计值更集中，但引入了明显的系统性负偏差（低估效应量 β）。
• 新方法：偏差接近0，方差虽高于正则化方法但远低于传统SEM，RMSE表现稳健。这说明在传统方法尚可使用的区域，新方法提供了无偏且稳定的估计，没有正则化方法带来的偏差代价。

在Setting 2（传统方法失效）中，只有新方法能给出估计。随着维度升高，估计值会出现轻微的负偏差，且方差先增后减。这是一个非常重要的发现：新方法用引入可控偏差的代价，换取了在传统方法完全崩溃的区域内的估计可行性。对于探索性研究，知道一个带有一定偏差但方向可靠的估计，远比没有任何估计要有价值得多。

4.2 场景二（Case 2）：稀疏假设被违背时

没有方法能在所有假设都不成立时表现完美。Case 2 测试了当因子载荷并不完全稀疏（即许多小载荷并不趋近于0）时，方法的稳健性。

我们让次要因子载荷的幅度随机波动，从而逐渐破坏稀疏性。通过“能量集中比”这个指标来衡量稀疏程度（越接近1越稀疏）。

结果解读：

1. 生存性：即使稀疏假设被违背，新方法依然能产出估计值，而传统方法在维度稍高时（p≥4）就大量失败。
2. 误差模式：随着数据稀疏性降低（能量集中比下降），新方法估计误差的分布会逐渐变宽（四分位距IQR增大），但并未出现灾难性的发散。误差的正负比例也会发生变化。
3. 实践启示：新方法对稀疏假设的违背具有一定的稳健性，但性能会逐渐衰减。 这意味着，即使你的数据不完全满足理想的稀疏结构（现实中很多数据如此），该方法仍可能提供一个有参考价值的估计，尤其是对于效应方向的判断。但研究者必须谨慎，此时的估计值更应被视为“在现有约束下最合理的近似”，而非精确的无偏估计。

5. 实战应用：小样本心理数据分析

理论再漂亮，也需要实战检验。我使用公开的DASS-42（抑郁-焦虑-压力量表）数据中哥伦比亚的子样本（n=27）进行了分析。目标是估计从“压力”潜变量到“抑郁”潜变量的路径系数 β。每个潜变量由14个题项测量，因此 p1=p2=14，满足 n < p1+p2 的高维小样本条件。

分析步骤：

1. 数据准备：从公开数据源下载数据，筛选哥伦比亚受访者，提取压力子量表和抑郁子量表的27行×14列数据。
2. 预处理：检查缺失值，进行必要的标准化。由于样本量极小，异常值处理需格外谨慎，我采用中位数和绝对中位差进行稳健标准化。
3. 运行新方法：按照前述算法，设置Bootstrap次数 B=100，进行10次随机初始化以规避局部最优。
4. 结果解读：

结论与启示： 分析结果表明，在哥伦比亚的小样本中，压力对抑郁有显著的正向预测作用（β̂ = 0.513, 95% CI [0.392, 0.825]）。这与大量心理学文献中“压力是抑郁的重要前因”的结论一致。本次实战的价值在于：它演示了如何在样本量(n=27)远小于测量指标数(p=28)的极端情况下，依然能够对潜变量间的结构关系进行量化和统计检验。这是传统SEM根本无法完成的任务。

重要提醒：对此类结果的解释必须保持克制。我们证明了在这个小样本中，数据模式与“压力正向影响抑郁”的模型是相容的，且效应方向稳定。但由于样本量极小，结果的普适性（外效度）有限。不宜过度推广，而应将其视为在数据稀缺条件下进行探索性假设生成的有力工具。

6. 总结、局限与未来方向

经过理论梳理、算法实现、模拟验证和实战应用，这套针对高维小样本的协方差结构方程建模新方法，其全貌和定位已经清晰。

方法定位与核心价值： 它不是一个旨在替代传统SEM的“更优”方法，而是一个填补空白的工具。当你的研究问题迫使你必须在 p > n 的领域进行探索时（如罕见病研究、小群体深度分析、试点研究），它提供了唯一一套基于协方差结构、可给出定量估计和统计推断的框架。它的核心输出是带有不确定性度量的效应方向和大小的估计，这对于早期研究判断一个关联是否存在、方向如何，具有极高的实用价值。

主要优势：

1. 突破边界：首次使基于协方差的SEM在 p > n 下可行。
2. 方向稳健：即使在模型假设略有违背时，对效应符号（正/负）的估计也往往比较稳定。
3. 框架严谨：通过可行集和相对误差约束，明确处理了高维下的不确定性，而非掩盖问题。
4. 提供推断：基于自助法的置信区间，提供了在非渐近场景下的统计推断手段。

当前局限与注意事项：

1. 模型简化：强制的单因子和秩一互协方差假设是巨大的简化。现实中的构念可能是多维的，变量间关系也更复杂。
2. 稀疏性依赖：方法的稳健性和估计质量依赖于潜变量结构在一定程度上的稀疏性。如果所有变量对潜变量的贡献都很大且均匀，性能会下降。
3. 计算成本：Bootstrap和多次优化导致计算量远大于传统SEM，不适合超大规模变量。
4. 解释谨慎：结果更适用于探索和假设生成，在用于强因果主张时需要极其谨慎，需结合理论和其他证据。

未来可能的改进方向： 结合我自己的实践思考，我认为后续工作可以从以下几个方向展开：

• 模型扩展：探索如何将框架扩展到多因子模型。也许可以引入更复杂的稀疏模式或低秩结构来替代严格的秩一假设。
• 优化算法：当前非凸优化和可行集搜索是计算瓶颈。研究更高效的全局优化算法或近似算法，对于提升方法实用性至关重要。
• 理论深化：需要更严格的有限样本理论，为容忍参数 ϵ_n 和 ξ_n 的选择提供更精确的指导，而非完全依赖自助法。
• 软件实现：目前缺乏成熟的软件包。将其集成到R或Python的SEM生态中（如 lavaan、semopy 的扩展），会大大降低使用门槛。

给实践者的最终建议： 如果你正在处理一个变量多、样本少的探索性数据集，并且关心潜变量间的网络或结构，那么这套方法值得你深入了解和尝试。把它当作你的“高维侦察兵”。它不能给你一张精确的地图，但能告诉你哪里可能有山、哪里有水，以及大致的方位。用它来发现值得深入追踪的线索，然后用更传统、更稳健的方法在更大样本中去验证这些线索。在数据科学的工具箱里，既有用于精雕细琢的刻刀，也需要有能在混沌中开辟道路的斧凿。这套方法，正是后者。