基于相似性的算法组合构建：提升黑盒优化鲁棒性的工程实践

算法组合鲁棒性黑盒优化

于 2026-06-02 03:19:42 修改

·本内容遵循CC 4.0 BY-SA版权协议

1. 项目概述与核心价值

在解决复杂的黑盒优化问题时，我们常常面临一个经典困境：没有一个算法是“万能的”。你可能遇到过这样的情况，精心调校的CMA-ES在某个函数上表现惊艳，但换了一个看似相似的测试函数，性能就一落千丈。这种“算法脆弱性”是优化领域的老大难问题。传统的算法选择（Algorithm Selection, AS）试图为每个问题找到那个“唯一的最优解”，但这往往依赖于强大的特征工程和复杂的机器学习模型，且在面对训练集与测试集分布不一致时，鲁棒性堪忧。那么，有没有一种更灵活、更稳健的策略，能够像一位经验丰富的指挥官，根据战场（问题）的实时态势，动态调配不同特长的士兵（算法），而不是每次都只派一个“全能冠军”上场呢？

这就是“基于相似性的算法组合构建”所要回答的问题。它不再执着于寻找“唯一最优”，而是转向构建一个“最优团队”。其核心思想非常直观：对于一个待求解的新问题，我们在历史问题库（训练集）中寻找与它最相似的k个“邻居”问题，然后分析这些邻居问题分别被哪些算法解决得最好，最后将这些算法的表现进行加权组合，形成针对当前问题的定制化算法组合。这种方法的价值在于，它巧妙地平衡了鲁棒性与专业化。通过组合多个算法，它降低了对单一算法“押宝”失败的风险；而通过基于相似性的加权，它又能让组合的“火力”精准地集中在与当前问题最相关的历史经验上，实现一定程度的专业化适配。

从工程实践角度看，这种策略尤其适用于那些问题特征空间复杂、算法性能互补性强的场景。比如在自动化机器学习（AutoML）的模型超参数调优中，不同优化器（如贝叶斯优化、进化算法、随机搜索）在不同类型的搜索空间和损失函数曲面上各有优劣。基于相似性的组合可以让我们根据当前调优任务的特征（如参数维度、预期非线性程度），动态地融合不同优化器的优势。它绕过了传统算法选择中对“完美特征”和“精确预测模型”的强依赖，提供了一种计算高效、实现相对简单且解释性更强的替代方案。

2. 核心原理与设计思路拆解

要理解基于相似性的算法组合，我们需要拆解其三个核心支柱：特征表示、相似性度量与组合加权策略。这三者环环相扣，共同决定了组合的性能上限。

2.1 特征表示：为问题绘制“肖像”

特征表示是整个方法的基石。它的目标是将一个抽象的黑盒优化问题，转化为一个可计算的、蕴含信息的特征向量。这就好比医生需要通过X光片、血液指标等一系列特征来描述病人的健康状况，而不是仅仅说“他不舒服”。

在连续黑盒优化中，常用的特征来源于探索性景观分析。这些特征试图在有限的采样点内，刻画问题的“地形”：

全局统计特征：如目标函数值的均值、方差、偏度、峰度，可以反映函数值的整体分布。
局部特征：如梯度近似（即便在无梯度优化中，也可通过差分估计）、Hessian矩阵的条件数估计，用于描述局部曲率和平滑性。
元特征：问题维度、变量边界、已知的最优值（如果存在）等。
轨迹特征：在算法运行过程中动态收集的特征，例如迭代过程中解的质量改进速率、种群多样性变化等。这类特征与算法性能关联性更强，但计算成本也更高。

注意：特征空间的质量直接决定了“相似性”是否有效。如果特征无法区分两个本质上对算法而言难度迥异的问题，那么基于此的相似性度量就是无效的。原文中提到的“性能潜空间”实验，正是为了揭示在理想特征（即直接用算法性能作为特征）下，该方法能达到的理论上限，这为我们评估现实特征的有效性提供了基准。

2.2 相似性度量与k近邻：寻找“同类问题”

有了特征向量，下一步就是定义“相似”。最常用的方法是计算特征向量之间的欧氏距离或余弦相似度，然后应用k近邻算法。这里的关键决策点是k值的选择。

较小的k值：意味着组合构建只参考最相似的少数几个历史问题。这带来了高度的专业化潜力，因为组合的构成完全由最相似的邻居决定。然而，风险也随之增高：如果对最近邻的相似性判断稍有偏差（源于特征噪声或不完美），或者这几个邻居本身具有特殊性，就可能导致组合构建失败，性能波动大。
较大的k值：组合构建会参考更多、更广泛的历史问题。这相当于引入了一个“平滑”或“正则化”效应，使得组合更加稳健，对特征噪声和个别异常点不敏感。但代价是可能稀释了与当前问题最相关的局部信息，导致组合趋向于一个更通用的、但可能不够锐利的“平均”策略。

这本质上是一个偏差-方差权衡。小k值对应低偏差（更拟合局部）、高方差（不稳定）；大k值对应高偏差（更平滑）、低方差（更稳定）。在实际应用中，k值常通过交叉验证在训练集上确定。

2.3 加权策略：从邻居到组合的智慧

找到k个邻居后，我们知道了每个邻居问题上的“单算法最优”是什么。最简单的组合策略是均匀投票：每个邻居推荐的算法获得一票，最终选择得票最高的算法，或者将所有被推荐的算法以均等权重组合（例如，平均分配计算资源）。但这种方法忽视了邻居与当前问题“相似度”的差异。

因此，非均匀加权策略应运而生。其核心思想是：与当前问题越相似的邻居，其意见应该越重要。常见的加权函数包括：

逆距离加权：权重与相似度（或距离的倒数）成正比。w_i = 1 / (d_i + ε)，其中d_i是距离，ε是一个防止除零的小常数。
软最大值加权：将距离转化为相似度分数后，通过softmax函数进行归一化，使得权重分布更加“尖锐”或“平滑”，可通过温度参数T控制。w_i = exp(s_i / T) / Σ exp(s_j / T)，其中s_i是相似度。
核函数加权：使用如高斯核等函数，将距离映射为权重，w_i = K(d_i)，带宽参数控制了权重的衰减速度。

原文表格中对比的 w_eq（均匀）、w_soft（软最大）、w_log（对数）、w_diff（基于差异）等策略，正是对此的探索。结果表明，非均匀加权通常优于均匀加权，因为它让组合构建过程对特征空间的局部结构更敏感，从而能构建出更贴合目标问题特性的组合。

3. 实操构建：从理论到代码的完整流程

理解了原理，我们来看如何动手构建一个基于相似性的算法组合系统。整个过程可以分为离线训练和在线应用两个阶段。

3.1 阶段一：离线训练与知识库构建

这个阶段的目标是建立一个丰富的“问题-算法性能”知识库。

步骤1：准备基准问题集与算法池

问题集：收集或生成一个具有代表性的黑盒优化问题集合，例如来自COCO、BBOB或Nevergrad平台的基准函数。确保问题在维度、模态、崎岖度等方面具有多样性。
算法池：选择一组你希望组合的优化算法，例如：差分进化、粒子群优化、协方差矩阵自适应进化策略、Nelder-Mead单纯形法、贝叶斯优化等。这些算法应尽可能具有互补性。

步骤2：特征提取与性能评估

对知识库中的每一个问题实例，运行算法池中的所有算法（每个算法可进行多次独立运行以减少随机性影响）。
记录每个算法在该问题上的性能指标，例如：达到特定精度所需的函数评估次数、最终找到的解的质量、运行时间等。通常我们会使用一个汇总指标，如平均性能或经验达成函数的分位数。
同时，为每个问题实例计算其特征向量（如前文所述的ELA特征）。

步骤3：构建特征-性能矩阵 将上述数据整理成两个核心矩阵：

特征矩阵 X：每一行是一个问题实例的特征向量。
性能矩阵 P：每一行对应一个问题实例，每一列对应一个算法，单元格的值是该算法在该问题上的性能得分（得分越高表示性能越好，通常会对性能指标进行归一化处理）。

至此，你的知识库 (X_train, P_train) 就准备好了。

3.2 阶段二：在线组合构建与应用

当遇到一个新的待求解问题 x_new 时，遵循以下流程：

步骤1：计算新问题的特征 使用与离线阶段完全相同的方法，计算 x_new 的特征向量。这一步可能涉及对问题的初步采样。

步骤2：寻找k个最近邻 在训练特征矩阵 X_train 中，计算 x_new 与所有训练实例的特征距离（如欧氏距离）。选择距离最小的k个训练实例，记下它们的索引 N_k。

步骤3：确定加权方案与组合构建 这是核心步骤。根据选定的加权策略，计算每个邻居 i ∈ N_k 的权重 w_i。

对于算法选择模式：每个邻居 i 会“推荐”在其上性能最好的算法 a_i* = argmax(P_train[i, :])。那么算法 a 的得分为：score(a) = Σ_{i: a_i* = a} w_i。最终选择的算法是 argmax(score(a))。
对于算法调度/混合模式：我们可以构建一个概率分布或时间分配方案。算法 a 被选入组合的权重为：weight(a) = Σ_{i ∈ N_k} w_i * (P_train[i, a] / Σ_j P_train[i, j])。这里不仅考虑了邻居的“最优”算法，还考虑了所有算法的相对性能。然后可以按此权重分配计算资源（如CPU时间）或决定算法执行的顺序。

步骤4：执行组合并返回结果 根据上一步构建的组合策略，调用相应的算法或算法序列来求解 x_new，并返回优化结果。

下面是一个高度简化的Python伪代码示例，演示算法选择模式的核心逻辑：

PYTHON

import numpy as np

from sklearn.neighbors import NearestNeighbors

from sklearn.preprocessing import StandardScaler

class SimilarityBasedPortfolio:

def __init__(self, k=5, weighting='inverse_distance'):

self.k = k

self.weighting = weighting

self.scaler = StandardScaler()

self.knn = NearestNeighbors(n_neighbors=k, metric='euclidean')

def fit(self, X_train, P_train):

"""离线训练：拟合特征缩放器和KNN模型"""

# X_train: (n_samples, n_features) 特征矩阵

# P_train: (n_samples, n_algorithms) 性能矩阵

self.X_train = self.scaler.fit_transform(X_train)

self.P_train = P_train

self.knn.fit(self.X_train)

self.n_algorithms = P_train.shape[1]

def predict_portfolio(self, x_new):

"""在线预测：为新问题构建算法组合"""

# 1. 特征缩放

x_new_scaled = self.scaler.transform(x_new.reshape(1, -1))

# 2. 寻找k近邻

distances, indices = self.knn.kneighbors(x_new_scaled)

distances = distances.flatten() # (k,)

indices = indices.flatten() # (k,)

# 3. 计算邻居权重

if self.weighting == 'uniform':

weights = np.ones(self.k) / self.k

elif self.weighting == 'inverse_distance':

epsilon = 1e-8 # 避免除零

weights = 1.0 / (distances + epsilon)

weights = weights / weights.sum() # 归一化

# 可以添加其他加权策略，如softmax

# 4. 基于权重的算法选择（简单投票）

# 获取每个邻居的最优算法索引

best_algos_per_neighbor = np.argmax(self.P_train[indices], axis=1) # (k,)

# 计算每个算法的加权得分

algo_scores = np.zeros(self.n_algorithms)

for idx, algo_idx in enumerate(best_algos_per_neighbor):

algo_scores[algo_idx] += weights[idx]

# 5. 返回得分最高的算法索引（或前N个作为组合）

selected_algo = np.argmax(algo_scores)

return selected_algo, algo_scores

# 更复杂的组合可以返回一个算法-权重的字典，用于资源分配

3.3 关键参数调优与验证

在实际部署前，必须对关键参数进行调优：

k值选择：通过训练集上的留一法或k折交叉验证来评估不同k值下的平均性能。绘制性能随k变化的曲线，通常会在某个k值达到平衡点。
加权策略选择：同样通过交叉验证比较均匀加权、逆距离加权、软最大加权等策略的效果。
特征选择与降维：高维特征可能包含噪声或冗余，导致“维度灾难”，影响距离度量的有效性。可以使用主成分分析或基于领域知识的特征选择方法来降维。
距离度量：欧氏距离是最常用的，但对于某些特征，曼哈顿距离、余弦相似度或马氏距离（考虑特征相关性）可能更合适。

验证时应使用独立的测试集，并报告如平均排名、超越单算法最优的比例等指标，以全面评估组合策略的有效性。

4. 性能深度解析：数据背后的逻辑

原文中的表格数据虽然简洁，但蕴含了丰富的信息。我们以表3（10-SBP-w在不同加权方案下的性能）为例进行解读。

该表格比较了在2维、5维、10维问题以及整体上，采用四种不同加权策略时，基于相似性的组合方法相对于“单算法最优”的性能提升（均值和标准差）。数据呈现了几个关键洞察：

非均匀加权的普遍优势：纵观“Overall”一行，虽然几种加权策略的平均提升相近（约15.8%），但仔细观察不同维度下的数据，会发现非均匀策略（如w_soft, w_log, w_diff）在某些维度上表现更稳定或略有优势。例如在10D问题上，w_diff策略取得了最低的平均值（15.0）和最低的标准差（23.0），说明其性能波动相对较小。这印证了理论：非均匀加权能更好地利用局部结构信息。
维度的影响与挑战：性能提升在5维问题上最高（~18%），而在2维和10维问题上相对较低。这可能是因为：
- 2维问题：问题本身相对简单，特征空间可能不够丰富，或者算法之间的性能差异本身就不大，导致组合带来的边际收益有限。
- 5维问题：处于“甜蜜点”，问题复杂度足以让不同算法展现出明显的互补性，同时特征表示仍然能较好地捕捉问题本质。
- 10维问题：复杂度增加，可能使得特征表示的有效性下降（“维度诅咒”），同时算法性能的方差增大，导致基于相似性的预测不确定性增加，从而限制了组合的性能提升。
标准差揭示的风险：所有结果都伴随着较高的标准差（普遍在20左右），这明确指出了该方法的一个重要特性：性能波动大。这意味着，虽然平均来看有提升，但在某些具体问题实例上，组合方法可能表现很差，甚至不如简单的策略。这凸显了组合方法对问题特征和邻居质量的敏感性。在工程应用中，必须评估这种性能波动的风险是否在可接受范围内。

这些数据告诉我们，基于相似性的组合构建并非“银弹”。它的有效性严重依赖于上下文：问题的特性、特征的质量、算法池的互补性以及参数（k，加权方式）的设置。它是在平均性能提升和单次运行风险之间进行权衡的一种工具。

5. 实战经验、避坑指南与进阶思考

在实际项目中应用此方法，我踩过不少坑，也积累了一些心得。

5.1 特征工程的“魔鬼在细节”

特征的一致性至关重要：离线训练和在线应用时，计算特征必须使用完全相同的代码、相同的采样策略（如采样点数、采样分布）。一个常见的错误是，训练时对问题进行了大量采样以计算精确特征，而在线应用时为了速度只进行少量采样，导致特征分布不一致，相似性度量完全失效。
处理不同量纲的特征：特征矩阵中可能包含取值范围差异巨大的特征（如方差可能很大，梯度范数可能很小）。必须进行标准化（如Z-score标准化），否则距离度量会被大范围特征主导。在上述代码中，我们使用了StandardScaler，这是关键一步。
警惕“无信息”特征：如果某个特征在所有问题实例上都几乎相同，它对于区分问题就没有贡献，反而会引入噪声。在构建特征集后，应进行简单的分析，剔除方差接近零的特征。

5.2 算法性能矩阵的构建陷阱

性能指标的选取：是看“最终解质量”还是“达到阈值的速度”？这取决于你的优化目标。在动态资源分配的组合中，可能更关心后者。确保性能矩阵 P 中的值与你最终的优化目标一致。
处理算法失败的情况：有些算法可能在某个问题上完全不收敛或出错。不能简单地记录一个很差的数值（如极大值），因为这会影响距离加权。一种做法是设置一个惩罚值，另一种更鲁棒的做法是在计算邻居推荐时，只考虑在该问题上“成功”运行的算法。
数据量要求：为了获得可靠的邻居关系，训练集需要足够大，且尽可能覆盖你预期会遇到的问题类型分布。如果新问题完全落在训练集特征空间的外围，k近邻方法就会失效（外推能力差）。这时，组合可能会退化为一个基于全局统计的默认策略。

5.3 加权策略的选择与冷启动问题

从均匀加权开始：如果你的训练数据有限，或者对特征质量没把握，从均匀加权开始是最安全的选择。它虽然不利用局部信息，但也不会被错误的局部信息带偏。
逆距离加权的稳定性技巧：使用 1 / (distance + epsilon) 时，epsilon 的选择有讲究。太小会对距离接近零的邻居赋予极大权重，不稳定；太大则使加权趋向均匀。可以尝试设置为特征空间平均距离的一个小比例。
冷启动问题：对于一个全新的、没有任何历史数据的问题领域，如何应用？这时，基于相似性的组合无法直接使用。一个可行的策略是，先在一个通用的、广泛的基准问题集上训练一个“元组合”，作为初始知识库。在解决新领域的具体问题时，逐步将新问题及其求解结果加入知识库，实现模型的在线学习和适应。

5.4 超越简单组合：混合与调度

上文主要讨论了“选择”一个算法。但组合的威力在于“混合”。更高级的策略包括：

时间切片：为组合中的每个算法分配固定的函数评估次数（预算），依次执行。分配比例由加权得分决定。
并行竞赛：同时启动组合中的多个算法，运行一小段预算后，根据初步表现动态重新分配剩余预算（类似赛马机制）。
超参数配置组合：不仅组合不同的算法，还组合同一算法的不同超参数配置。这相当于将算法和其配置共同视为“基础构件”，大大扩展了组合的搜索空间。

基于相似性的方法可以为这些混合策略提供初始的权重或优先级排序，实现一个智能化的启动配置。

6. 局限性与未来展望

尽管基于相似性的组合构建思路清晰且具有吸引力，我们必须清醒认识其局限性，这也是未来可能突破的方向。

首先，其性能天花板受限于两个“最佳”之间的差距：虚拟最佳组合（为每个问题事后选择最优算法组合）和单算法最优（为每个问题事后选择最优单一算法）。如果这个差距本身很小，那么任何组合方法的提升空间就非常有限。原文实验也提到了这一点。因此，在采用此方法前，评估算法池的互补性至关重要。

其次，特征表示仍然是最大的瓶颈。我们依赖于手工设计的ELA特征，这些特征可能无法捕捉到与算法性能最相关的那些问题本质属性。未来的方向之一是学习端到端的特征表示。例如，利用深度网络直接从问题的样本点中学习一个潜空间表示，使得在这个空间中，问题的相似度直接与算法性能的相似度相关。这相当于自动化地构建那个“理想的特征空间”。

再者，当前方法本质上是静态的：在优化开始前，根据问题的初始特征一次性决定组合。一个更有前景的方向是动态组合。在优化过程中，随着我们对问题景观的了解加深（通过已获得的采样点），可以实时更新对问题特征的估计，进而动态调整算法组合的构成或资源分配。这将使组合具备“在线学习”的能力。

最后，将这种方法与元学习和迁移学习结合，是应对分布外问题的关键。当遇到与训练集分布差异很大的新问题时，如何快速调整或利用先验知识？或许可以通过学习一个“特征映射函数”，将新问题的特征映射到已有知识库可理解的表达上，或者建立一个层次化的组合模型，在遇到陌生问题时启用更保守的通用组合策略。

基于相似性的算法组合构建，它更像是一门工程艺术，而非精确的科学公式。它要求实践者深刻理解优化问题、算法特性以及数据之间的关系。它可能不会总是给出惊艳的结果，但它提供了一种系统化的、可解释的框架，来管理优化算法应用中的不确定性，在鲁棒性与效率之间寻找属于你当前问题的最佳平衡点。当你面对一个充满未知的黑盒，手头又有几件各有所长的工具时，这种“博采众长”的智慧，往往比执着于寻找那把“万能钥匙”更加可靠。