基于相似性的黑盒优化算法组合构建：从特征匹配到智能预算分配

1. 项目概述与核心思路

在算法工程和优化领域，我们经常面临一个经典难题：面对一个全新的、内部机制未知的“黑盒”优化问题，究竟该选择哪个算法来求解？这就像一位经验丰富的工匠，面对一块从未见过的木料，需要从工具箱里挑选最合适的凿子。传统的“算法选择”方法试图通过分析问题的“特征”（比如函数的凹凸性、平滑度、变量间的交互程度等），来预测并挑选出单一的最佳求解器。然而，这个方法存在两个固有的风险：第一，预测模型不可能百分之百准确，一旦选错，整个计算预算就浪费在一个表现不佳的算法上；第二，即便是理论上最好的算法，由于其内在的随机性，单次运行也可能因为运气不佳而表现失常。

这就引出了一个更稳健的思路：为什么不把“鸡蛋放在多个篮子里”？与其孤注一掷地选择一个算法，不如将固定的计算预算（比如总共允许进行10万次函数评估）分配给多个算法，让它们各自运行一段时间。这种策略被称为“序列算法组合”。它的优势显而易见：首先，通过多次独立运行，可以平滑掉单个算法的随机波动，实现方差缩减；其次，不同算法擅长处理的问题类型不同，组合可以形成优势互补，整体上更有可能触及问题的最优解。

本文要探讨的，正是如何智能地构建这样一个算法组合。我们不再满足于构建一个“放之四海而皆准”的通用组合，而是希望为每一个新问题“量体裁衣”，构建一个定制化的组合。核心思想非常直观：通过分析新问题与历史已知问题在特征空间上的相似性，找到最相似的“邻居”们，然后根据这些邻居们的历史表现，来决定如何分配预算给不同的算法。 这就像医生诊断新病人时，会参考过往相似病例的治疗方案一样。我们提出的方法，本质上是一个基于k近邻的预算分配策略，它巧妙地将算法选择问题，转化为了一个更精细、更灵活的预算分配问题。

2. 核心原理与框架拆解

要理解这个基于相似性的组合构建方法，我们需要先拆解几个核心概念：问题如何表示、算法性能如何衡量、组合如何构建以及相似性如何利用。

2.1 问题表征：从黑盒到特征向量

对于一个黑盒优化问题 f(x)，我们无法直接窥探其内部数学形式，但可以通过采样和分析其输入输出行为，提取一系列描述性指标，即“探索性景观分析”特征。这些特征就像问题的“指纹”，描述了其优化地貌的种种特性，例如：

• 模态性：函数有多少个局部极值点？
• 崎岖度：函数表面是平滑的还是像锯齿一样起伏不定？
• 可分性：变量之间是相互独立还是高度耦合？
• 梯度信息：尽管是黑盒，但通过采样点可以估计局部的梯度或曲率信息。

我们将这些特征计算并标准化后，形成一个固定长度的特征向量 φ(f)。这个向量就是我们在高维空间中定位一个问题的坐标。所有历史问题构成一个“特征空间”，新问题通过计算其特征向量，就能被映射到这个空间中。

2.2 性能度量：超越最终结果的“随时性能”

传统算法选择通常只关心算法在耗尽所有预算后的最终解质量。但对于组合构建，我们需要更精细的“随时性能”数据。我们使用经验达成函数（Empirical Attainment Function, EAF）来刻画算法在整个优化过程中的表现。

简单来说，EAF回答这样一个问题：“对于给定的算法α、预算b和目标精度ε，算法在多次独立运行中，有多大比例能在预算b内找到优于ε的解？” 通过在一系列离散的预算点 B 和精度阈值 E 上计算EAF，我们就能得到算法α在问题f上的一个性能曲面。这个曲面完整描述了算法从开始到结束的搜索能力和收敛速度，是进行预算分配决策的黄金标准数据。

2.3 组合构建：一个贪婪的预算分配游戏

一个序列算法组合 S 定义为一组算法-预算对的集合，例如 {(CMA-ES, 5000), (差分进化, 3000), (CMA-ES, 2000)}，表示先运行CMA-ES算法5000次评估，接着运行差分进化3000次，最后再运行CMA-ES 2000次，总预算为 T=10000。

如何构建一个好的组合？我们采用一种贪婪构造法。从一个空组合开始，在总预算 T 耗尽之前，反复执行以下步骤：

1. 遍历所有候选算法和可能的预算分配额度（通常是在一个离散的预算集合 B 中选择）。
2. 对于每一个候选的算法-预算对 (α, b)，计算如果将它加入当前组合 S_t 后，新组合 S_t ⊕ (α, b) 在目标问题集（或邻居问题集）上的预期性能 J。
3. 选择能使性能提升最大的那个对，但这里有一个关键技巧：引入惩罚项。评分函数为： score = J(新组合) - 0.1 * (b/T)^2 第二项 0.1 * (b/T)^2 是一个惩罚项，它 discourages 将过大的预算一次性分配给单个算法。如果没有这个惩罚，贪婪算法可能会倾向于把所有预算都丢给当前一步提升最大的算法，这违背了组合“多样性”和“风险分摊”的初衷。这个平方项使得分配大预算的“代价”呈二次增长，从而鼓励算法将预算拆分给多个算法或多次运行。

这个过程持续迭代，直到总预算分配完毕。最终得到的组合，是在贪婪策略和多样性惩罚共同作用下，针对特定问题集的一个局部较优解。

2.4 相似性驱动：k近邻的定制化策略

现在，我们将上述组件串联起来，形成完整的基于相似性的组合构建流程，其方法论框架如下图所示（概念示意）：

1. 离线准备（训练阶段）：

   • 拥有一个包含大量历史问题 F_d 的训练集，对每个问题，我们都计算了其特征向量 φ，并运行了所有候选算法，收集了完整的EAF随时性能数据。
   • 在整个训练集上，运行上述贪婪构造法，构建一个全局最优组合（SBP*）。这个组合是所有问题的“平均最优解”，是一个稳健的基线。

2. 在线定制（推理阶段）：

   • 当遇到一个新问题 f* 时，计算其特征向量 φ*。
   • 在特征空间中，计算 φ* 与训练集中所有问题特征向量的余弦相似度，找出最相似的k个邻居，构成邻居集 F_d^k。
   • 关键决策点：现在我们有两条路：
     • 路A：使用全局组合。直接采用之前准备好的全局最优组合 SBP*。
     • 路B：构建局部组合。仅基于这k个邻居问题的性能数据，重新运行贪婪构造法，生成一个针对该邻居集的局部定制组合（k-SBP*）。
   • 择优录取：我们并不盲目相信局部组合一定更好。而是让 SBP* 和 k-SBP* 在这k个邻居问题上“同台竞技”，比较它们的性能指标 J。最终，选择在邻居集上表现更好的那个组合，作为分配给新问题 f* 的最终组合（k-SBP）。

这个流程的精妙之处在于其稳健性。它不假设局部邻居信息总是可靠的。如果新问题虽然特征上与某些邻居相似，但算法表现模式却迥异，那么基于邻居构建的局部组合可能反而会跑偏。此时，我们的择优机制会自动 fallback 到更稳健的全局组合上，防止因过度拟合局部相似性而导致的性能下降。

实操心得：余弦相似度的选择 为什么选择余弦相似度而非欧氏距离？因为ELA特征向量经过标准化后，其方向比长度包含更多信息。余弦相似度关注的是特征模式轮廓的相似性，对特征值的绝对大小不敏感，这更适合比较不同问题之间景观特性的相对模式。在实际计算前，务必确保所有特征已基于训练集进行了零均值、单位方差的标准化，这是保证相似度计算公平有效的关键前提。

3. 实验设计与深度分析

任何方法的有效性都需要在严谨的实验中验证。我们的实验设计围绕几个核心问题展开：组合方法是否真的比选单个算法好？基于相似性的定制化能带来多少增益？方法的各个环节（如邻居数量、特征质量）如何影响最终性能？

3.1 实验设置与基线定义

为了获得足够多样和可控的问题实例，我们没有使用固定的小型测试集，而是采用了MA-BBOB函数生成器。它通过对标准BBOB函数进行仿射变换和加权组合，能生成成千上万个既有关联性又有差异性的优化问题实例。我们分别在2维、5维和10维问题上生成了1000个函数，其中900个用于训练，100个留作测试。

我们选择了4个具有代表性的异构优化器构成算法池 A：

1. CMA-ES：基于协方差矩阵自适应的进化策略，擅长处理非线性、非凸的连续问题，是进化计算领域的标杆。
2. Diagonal CMA-ES：CMA-ES的简化版，假设变量间独立，适用于中低维问题，计算更快。
3. RCobyla：基于线性近似的无导数优化器，属于模型信任域方法，在低维、约束不多的问题上可能很高效。
4. Differential Evolution：差分进化，一种经典的群体智能全局优化算法，探索能力强。

我们定义了以下几个关键的性能基线，用于对比：

• 单一最佳求解器（SBS）：在整个训练集上平均性能最好的那个单一算法。这是最朴素的“一招鲜”策略。
• 虚拟最佳求解器（VBS）：一个“先知”基线，它为每个测试问题事后选择表现最好的那个算法。这是单一算法选择的理论上限，实际中无法达到。
• 单一最佳组合（SBP*）：我们在整个训练集上通过贪婪法构建的全局最优组合。
• 虚拟最佳组合（VBP）：另一个“先知”基线，为每个测试问题事后选择表现最好的那个组合。这是组合方法的理论上限。

我们的目标很明确：让我们提出的 k-SBP 方法，在无法预知未来的情况下，尽可能逼近 VBP 的性能，并且显著超越 SBS 和 SBP*。

3.2 核心结果：组合的力量与定制的价值

实验数据清晰地揭示了几个重要结论（以下为模拟数据，用于说明文中观点）：

第一，组合策略的巨大优势：仅仅使用全局组合 SBP*，其性能提升（平均15.7%）就远远超过了单一算法选择的理论上限 VBS（平均4.6%）。这强有力地证明了，在固定预算下，将预算拆分给多个算法运行，其收益远大于费尽心思去挑选那一个“最好”的算法。 方差缩减和优势互补带来的稳定性红利是巨大的。

第二，定制化带来的精细增益：我们提出的 k-SBP 方法，在 SBP* 的基础上，实现了进一步的、一致的性能提升。虽然平均提升幅度看起来不大（从15.7%到15.8%），但这意味着方法成功地在大部分问题上做出了更优的预算分配决策。更重要的是，如图2所示的分析表明，这种提升是广泛分布的，并非只针对某些“简单”或“困难”的问题。即使在VBS已经表现很好的问题上，k-SBP依然能获得提升，同时避免了在少数问题上的严重性能倒退，体现了良好的风险收益比。

第三，局部与全局的博弈：图3揭示了方法内部的决策动态。我们将比较 SBP* 和局部组合 k-SBP* 在“邻居集上的表现”与在“最终新问题上的表现”，分为四种情况：

1. 局部组合在邻居上更好，最终也更好。（理想情况，定制成功）
2. 全局组合在邻居上更好，最终也更好。（局部构建失败，全局更优）
3. 局部组合在邻居上更好，但最终更差。（过拟合：被邻居误导）
4. 全局组合在邻居上更好，但最终更差。（欠拟合：邻居信息未能反映真实情况）

实验发现，这四种情况分布相对均衡（例如，约45%的情况局部组合胜出，55%全局组合胜出）。这说明我们的择优选择机制至关重要。它自动过滤掉了第3种过拟合的情况（此时会选择全局组合），同时也抓住了第1种定制成功的机会。正是这个简单的“二选一”开关，保证了方法整体的稳健性。

3.3 特征空间的质量：决定性能的天花板

特征空间的质量是任何基于相似性方法的天花板。为了探究其影响，我们进行了一个“理想实验”：假设我们拥有一个“完美”的特征空间，这个空间不是由ELA特征构成，而是直接由每个算法在每个问题上的最终性能值构成的向量。这相当于我们直接知道了“答案”的一部分信息。

使用这个理想特征空间后，结果发生了显著变化：

• k近邻算法选择（10-SBS）的性能大幅提升，几乎追平了虚拟最佳求解器（VBS）。这说明如果特征足够好，简单的kNN选择就几乎能做到最优。
• 基于相似性的组合构建（k-SBP*）性能也显著提升，与全局组合 SBP* 的差距几乎消失。当特征能完美反映算法性能时，基于邻居构建的组合自然就接近全局最优了。
• 最终方法 k-SBP 获得了约1%的额外平均提升。

这个实验的启示非常深刻：我们当前方法的潜力受限于特征的表征能力。ELA特征虽然有效，但并未完全捕捉算法性能的差异。未来的一个重要方向就是设计更能刻画“算法-问题”交互关系的特征，例如包含算法随时性能轨迹信息的特征。特征工程的质量，直接决定了相似性方法能走多远。

3.4 超参数分析：邻居数量与权重策略

方法的两个关键超参数是邻居数量 k 和邻居的权重策略。

邻居数量 k：如图6所示，k 值不能太小也不能太大。k=1 时性能最差，因为单个邻居的偶然性太大，极易过拟合。随着 k 增大，性能快速提升并趋于稳定，在 k=10 左右达到较好效果。k 太大则会导致邻居集包含大量不相似的问题，使得构建的组合过于通用化，失去定制意义。k 的最佳值与特征空间的信息量成反比：特征越好，所需 k 越小。

权重策略：在确定了k个邻居后，我们还可以根据它们与新问题的相似度远近，赋予不同的权重。我们测试了四种策略：

1. 等权重：所有邻居一视同仁。
2. 软权重：w_i = exp(d_i)，其中 d_i 是相似度，相似度越高权重越大。
3. 差值权重：w_i = d_i - d_{k+1}，用与第k+1个（未入选）邻居的相似度差值作为权重。
4. 对数权重：w_i = ln((k+1)/2) - ln(i)，这是一种基于排序的权重，给更相似的邻居更高权重。

结果表明，非均匀加权策略普遍优于等权重，其中基于排序的对数权重表现最佳。这符合直觉：最相似的那几个邻居，应该对组合构建有更大的话语权。赋予不同权重的过程，相当于对邻居信息进行了一次精细的“去噪”和“聚焦”。

4. 实操指南与避坑要点

将上述研究转化为实际可用的工具，需要关注以下几个工程实现细节和常见陷阱。

4.1 数据准备与性能收集

这是最耗时但也是最基础的一步。你需要为你的目标问题领域建立一个历史问题库。

1. 问题采样：收集或生成一批有代表性的基准问题。问题多样性至关重要，它决定了你构建的组合的泛化能力。
2. 特征提取：为每个问题计算一套稳定的ELA特征。推荐使用成熟的库如 pflacco 或 flacco。注意处理特征中的缺失值和异常值。
3. 算法性能剖析：对每个问题，运行你的候选算法池多次（例如51次，以获取稳定的EAF估计）。记录下每次运行在多个预设预算点 B（如 [T/100, T/50, T/20, ..., T]）上的最优解值。这个过程计算量巨大，需要利用并行计算。
4. 数据存储：建议将（问题特征， 算法性能轨迹）对结构化存储，例如使用HDF5或Parquet格式，方便快速查询。

避坑指南：性能数据的噪声 EAF的估计精度依赖于独立运行次数。次数太少，EAF曲线会非常嘈杂，导致贪婪构造不稳定。建议至少进行31次独立运行，有条件最好51次。此外，预算点 B 的设置也很有讲究，应在对数尺度上密集分布，以准确捕捉算法早期的收敛行为。

4.2 贪婪组合构造的实现细节

实现贪婪构造法时，效率是关键。直接暴力搜索所有 (算法， 预算) 组合是不现实的。

1. 预算离散化：不要连续搜索预算值。将总预算 T 离散化为一个较小的集合，例如 B = {T/20, T/10, T/5, T/2, T}。这能极大减少搜索空间。
2. 增量更新：计算加入一个新对 (α, b) 后的组合性能 J 时，可以利用公式特性进行增量计算，避免每次都从头开始聚合所有EAF数据。
3. 惩罚系数：公式中的惩罚项系数 0.1 是一个经验值。你可以根据你的算法池特性进行调整。如果算法间性能差异巨大，可以适当减小该系数，允许更多预算流向优势算法；如果算法间互补性强，可以增大系数，鼓励更均匀的分配。

4.3 相似性计算与邻居检索

当新问题到来时，需要快速找到其k个最近邻。

1. 特征标准化：必须使用训练集的均值和方差来标准化新问题的特征，否则相似度计算毫无意义。这是线上推理时最容易出错的一步。
2. 索引结构：如果历史问题库很大（>1000），线性扫描计算所有余弦相似度会变慢。可以考虑使用Ball Tree或KD-Tree等数据结构对标准化的特征空间建立索引，实现对数时间复杂度的近邻搜索。
3. 相似度度量：余弦相似度是默认选择。但在某些情况下，如果特征经过标准化后，欧氏距离也可能表现良好。可以在一个验证集上对两种度量进行对比测试。

4.4 线上服务与部署考量

要将此方法部署为一个服务，需要考虑延迟和资源。

1. 缓存全局组合：全局最优组合 SBP* 可以离线计算并缓存，线上直接读取，这是最快的回退方案。
2. 异步计算与预热：对于需要定制化组合的请求，邻居检索和局部组合构建可以异步进行。对于常见的问题类型，甚至可以预计算并缓存一些局部组合模板。
3. 监控与迭代：记录下每个新问题最终被分配的组合是SBP*还是k-SBP*，以及其实际性能。定期分析这些日志，可以评估特征的有效性、k值设置是否合理，并为更新历史问题库和算法池提供依据。

5. 局限、挑战与未来方向

尽管基于相似性的组合构建方法展现出了强大潜力，但在实际应用中仍需正视其局限性和挑战。

5.1 当前方法的局限性

1. 对特征质量的强依赖：正如实验所示，方法的性能天花板由特征空间决定。设计能够精准预测算法性能的特征，本身就是一个极具挑战性的元学习问题。糟糕的特征会导致“相似”的问题在算法表现上并不相似，从而使整个方法失效。
2. 算法池的多样性要求：组合方法生效的前提是算法池中的算法具有足够的互补性。如果所有算法在几乎所有问题上表现都类似，或者存在一个绝对主导的算法，那么组合带来的收益将非常有限。图4的示例就显示，组合往往被少数几个强求解器主导。
3. 计算开销：离线阶段需要为大量问题和算法收集详尽的随时性能数据，计算成本高昂。在线阶段，虽然kNN检索很快，但为每个新问题贪婪构建局部组合仍有一定开销，可能不适用于对延迟要求极高的场景。
4. 组合构造器的局限性：我们使用的贪婪构造法是一个启发式方法，不能保证找到全局最优的组合。图3中出现的“局部组合在邻居集上表现不如全局组合”的情况，部分原因就是贪婪法陷入了局部最优。

5.2 实际应用中的挑战

1. 冷启动问题：对于一个全新的问题领域，没有历史数据，方法无法应用。需要有一个初始化的过程，可能先使用一个默认组合或随机组合进行探索，同时积累初始数据。
2. 动态环境适应：如果待优化问题的特性会随时间缓慢漂移，那么基于静态历史数据构建的组合可能会过时。需要考虑引入在线学习机制，定期用新产生的数据更新特征空间和性能数据库。
3. 超参数调优：邻居数量 k、权重策略、贪婪构造中的惩罚系数等都是超参数。它们的最佳值可能与问题领域、算法池密切相关，需要在一个独立的验证集上进行调优。

5.3 可能的改进方向

1. 融合更丰富的特征：除了静态的ELA特征，可以引入动态特征，例如算法在初期少量评估后的表现趋势，或者问题实例的元信息（如变量范围、约束类型）。
2. 使用更高级的相似性度量：可以探索度量学习技术，学习一个针对“算法选择”任务优化的距离度量函数，使得在这个新空间里，问题间的距离与它们算法性能的差异更相关。
3. 优化组合构造过程：可以尝试用元启发式算法（如遗传算法）替代贪婪法来搜索组合空间，或者用强化学习来学习预算分配策略。
4. 层次化组合策略：可以先根据问题特征进行粗粒度分类（如“高维可分问题”、“低维多峰问题”），为每一类预训练一个“专家组合”，线上先分类再调用对应的专家组合，这可以降低在线计算量。

在我自己的工程实践中，引入这种组合思维带来的最大收获不是那百分之几的绝对性能提升，而是系统鲁棒性的显著增强。我们不再需要为某个算法在特定问题上的突然“失灵”而提心吊胆，因为组合中的其他成员有很大概率能弥补这个失误。这种“不把希望寄托于单一算法”的设计哲学，对于构建高可靠的自动化优化系统至关重要。开始时，不妨从一个小而精的算法池（3-4个互补性强的算法）和简单的等权重组合做起，快速验证收益，再逐步迭代加入更复杂的相似性匹配和定制化逻辑。