合成数据评估：从实体分配到行为指标的业务逻辑保真度实践

1. 合成数据评估的核心挑战与思路拆解

在金融风控、医疗研究这些对数据行为保真度要求极高的领域，我们使用合成数据时，最怕的就是“形似神不似”。数据看起来分布差不多，特征均值方差也对得上，但一放到真实的业务规则引擎里跑，或者用来训练一个欺诈检测模型，效果就一塌糊涂。这背后的核心原因，往往不是单个数据点的质量不行，而是数据点之间所隐含的“实体”结构与“行为”模式被破坏了。

举个例子，在信用卡交易反欺诈场景中，一个“实体”可以是一个持卡人（由卡号或设备指纹标识）。这个持卡人在一段时间内的交易序列，构成了他的行为轨迹。风控规则不仅仅是看单笔交易（比如金额是否过大），更多的是看一个实体在时间窗口内的行为模式，例如“1小时内同一商户连续交易5次以上”（速度规则），或者“交易地点在短时间内发生不可能的地理跳跃”。如果你的合成数据只是独立地生成了成千上万笔孤立的交易记录，而没有正确地还原出“哪些交易属于同一个持卡人”这个关键结构，那么任何基于实体行为的风控评估都将失效。这就是为什么我们需要“实体分配”和“行为指标”这两把尺子。

我经手过不少合成数据项目，发现很多团队评估时只关注特征层面的统计相似性（如JS散度、Wasserstein距离），这就像评价一辆车只看了漆面和内饰，却没上路试试它的操控和刹车。行为指标，尤其是基于业务规则的指标，才是真正的“路试”。本文要讨论的，就是如何给这些没有“车牌号”（实体ID）的合成数据车辆，合理地挂上临时牌照（实体分配），然后设计一套严谨的测试路线（行为指标计算），来量化它们到底能跑得多接近真车。这套方法的价值在于，它将评估的焦点从“数据静态相似”提升到了“业务逻辑保真”，为我们选择或优化数据生成器提供了直接、可操作的洞察。

2. 实体分配算法：为无标识的合成数据重建“身份”

合成数据生成器，无论是基于生成对抗网络（GAN）、变分自编码器（VAE）还是扩散模型，其主流范式通常是按行（样本）生成。这意味着生成器输出的是一个数据表格，每一行是一笔独立的记录，但原本在真实数据中用于关联多条记录的“实体ID”（如UserID、CardID）在合成过程中丢失了。没有这个ID，我们就无法聚合计算任何实体层面的行为指标。因此，评估的第一步，就是为合成数据赋予一个合理的实体结构，这就是“实体分配”算法要解决的问题。

一个天真的想法是随机分配：把合成数据随机分成若干组，每组当作一个实体。但这会严重扭曲实体的行为模式。真实世界中，实体的大小（即一个实体拥有的记录数）分布往往极不均匀，呈现高度的右偏态。在IEEE-CIS欺诈检测数据集中，大多数卡只有寥寥几笔交易（中位数4笔），但少数“活跃”的卡可能有上万笔交易（最大值近1.5万笔）。这种分布特性直接影响了行为模式，例如，交易次数多的实体触发某些频率规则的概率天然就更高。如果我们随机分配成大小均匀的实体，那么计算出的行为指标将与真实情况产生系统性偏差。

因此，一个合理的实体分配算法，其核心目标必须是：使合成数据中“实体”的大小分布，与真实数据中实体的大小分布尽可能一致。下面我们拆解一个经过实践检验的确定性分配算法，它不依赖于生成模型内部的任何信息，仅利用真实数据的统计特征和合成数据的时间顺序。

2.1 算法步骤详解与实操要点

该算法的输入是真实数据集 D_real 和合成数据集 D_syn，以及一个标识实体ID的列名 EntityCol。输出是为 D_syn 的每一行都分配一个伪实体ID。整个过程是确定性的（使用固定随机种子），确保评估结果可复现。

步骤一：计算真实数据的实体大小分布 首先，我们需要从真实数据中学习实体结构的“蓝图”。按实体ID分组，统计每个实体拥有的记录数量。通常，我们还会按类别分别计算（例如，在欺诈检测中，分别计算欺诈实体（类1）和正常实体（类0）的大小分布）。这是因为欺诈者和正常用户的行为模式可能不同，其交易频率和实体规模也可能有差异。得到的是一个列表 S_c，其中包含了每个类别 c 下所有实体的大小值。

注意：这里“实体大小”指的是记录条数，而非交易金额等特征。这一步是整个算法的基石，务必确保真实数据中实体ID的定义是准确且一致的，没有重复或歧义。

步骤二：对合成数据按时间排序 接下来，处理合成数据集。我们假设合成数据中包含了模拟的交易时间戳（如 TransactionDT）。为了模拟真实世界中实体行为的连续性，我们将同一类别下的合成数据记录按照时间戳升序排列。这一步至关重要，它保证了后续我们分配给同一个伪实体的多条记录，在时间上是相邻的，从而能够形成初步的行为序列。如果合成数据没有时间戳，则需要根据其他逻辑排序，或此步骤的效力会大打折扣。

步骤三：依分布抽样并分配实体ID 这是算法的核心操作。对于每个类别 c：

1. 从步骤一得到的真实实体大小分布 S_c 中，进行有效回抽样。抽样的随机种子固定（例如42），以保证可复现性。
2. 抽出的第一个大小值 s1，比如是10，我们就将排序后的合成数据中，接下来的连续10行记录，都标记为同一个伪实体ID（例如 syn_c_1）。
3. 然后抽取下一个大小值 s2，再将接下来的 s2 行记录分配给 syn_c_2。
4. 如此重复，直到这个类别下的所有合成数据记录都被分配完毕。

通过这个过程，合成数据中生成的“实体”，其大小分布从统计上就与真实实体的大小分布一致了。例如，真实数据中很多实体只有1-2笔交易，那么抽样时也会频繁抽到1和2，从而在合成数据中创造出大量“小实体”。

步骤四：实体内随机置换 步骤三的分配是基于时间顺序的连续块，这可能导致同一个伪实体内的行为过于“平滑”或有序。为了打破这种可能因排序引入的虚假模式，我们在每个伪实体的内部，对其所有记录的顺序进行一次随机置换（同样使用固定种子）。这一步模拟了真实场景下，一个实体内部事件发生的随机性，使得基于序列的检测规则（如“短时间内连续发生”）的评估更具一般性。

步骤五：输出与解读 完成上述步骤后，D_syn 数据集中就新增了一列 EntityCol，其值即为分配好的伪实体ID。现在，我们可以像处理真实数据一样，对合成数据按实体进行聚合和分析。

实操心得：这个算法实现起来并不复杂，但其效果高度依赖于真实数据实体大小分布的准确性。在实际操作中，我建议先将真实数据的实体大小分布可视化（如绘制对数坐标下的直方图或箱线图），深刻理解其偏斜程度和异常值范围。在抽样时，固定随机种子是为了评估的公平性，但在一些探索性分析中，也可以尝试不同种子以观察结果的稳定性。此外，要清醒认识到，这种方法是一种“后处理”的近似，它假设实体大小与实体行为特征独立。这其实是一个较强的假设，因此论文中也明确指出，这构成了行为退化的“下界”——即真实生成器如果能够联合生成实体ID和记录，效果可能更好；我们这种方法评估出的问题，可能比实际存在的问题更严重。

3. 行为指标计算：从统计相似到业务逻辑保真

有了实体结构，我们就可以开始真正的“路试”——计算行为指标。行为指标的核心思想是，将数据（无论是真实还是合成）输入到一系列模拟真实业务逻辑的规则中，看这些规则被触发的频率和模式是否一致。这比比较特征的均值方差深刻得多，因为它考验的是数据中隐含的动态关系和模式。

3.1 速度规则触发率：衡量动态行为保真度

速度规则（Velocity Rule）是风控领域的经典规则，用于检测在特定时间窗口内发生频率异常高的行为。例如：“同一张卡在1小时内于同一商户尝试交易超过3次”。这类规则捕捉的是实体的动态行为密度。

P4指标：速度规则触发率偏差 定义：对于一套预定义的、具有业务意义的规则集合 R（例如论文中提到的8条标准速度规则），计算该规则集合上的平均绝对触发率偏差。

公式如下： B_VR(G) = (1/|R|) * Σ_{r∈R} | TR_r(D_real) - TR_r(D_syn) |

其中：

• TR_r(D) 表示在数据集 D 中，触发过至少一次规则 r 的实体所占的比例。注意，这里是实体比例，不是交易比例。这很关键，因为风控行动通常是针对实体（用户）的。
• |R| 是规则的总数。
• 这个指标 B_VR(G) 衡量的是合成数据生成器 G 在速度规则触发行为上，与真实数据的平均偏差。值越小，说明保真度越高。

计算过程实操：

1. 规则定义：首先需要明确定义规则集合 R。每条规则应包含：实体分组键（如卡号）、时间窗口（如1小时、1天）、计数事件（如交易）、阈值（如3次、5次）以及可选的附加条件（如商户相同、国家不同）。将这些规则编码成可执行的函数或SQL查询。
2. 分别计算触发率：
   • 对真实数据集 D_real，针对每条规则 r，计算有多少比例的实体触发了该规则。这通常需要按实体分组后，进行时间窗口滑动计算，复杂度较高，可能需要借助Spark、Pandas窗口函数或专门的时间序列数据库。
   • 对已分配实体ID的合成数据集 D_syn，执行完全相同的计算流程。
3. 求绝对差与平均：对每条规则，计算真实与合成触发率的绝对差值，然后将所有规则的差值求平均，即得到 B_VR(G)。

注意事项：这个指标的计算成本较高，尤其是当数据量巨大、时间窗口规则复杂时。在工程实现上，建议对规则计算进行优化，例如先对交易数据按实体和时间排序，然后使用单次滑动窗口计算同时判断多条规则。另外，规则的设计要有业务代表性，最好能与实际风控团队使用的规则保持一致或为其子集。

3.2 退化比：一个相对评估的标尺

仅有绝对偏差有时难以判断好坏。一个偏差值0.05，是好是坏？这需要参考系。为此，我们引入“退化比”的概念。

定义： DR(G, m) = B_m(G) / B_m(BASELINE)

其中：

• B_m(G) 是生成器 G 在某个指标 m（如刚才的 B_VR）上的值。
• B_m(BASELINE) 是该指标的一个基线值。

基线如何构造：一个常用且合理的基线是，将真实的训练数据随机分成两半（50/50），然后计算这个指标在这两半真实数据之间的差异。例如，计算 B_VR(Real_Half1 vs Real_Half2)。这个值代表了由于数据本身的随机抽样波动所导致的、不可避免的差异，可以看作是“理想情况下”的下限。

解读与应用：

• DR ≈ 1：意味着生成器 G 引入的偏差，与真实数据自身因抽样产生的自然波动水平相当。这是非常优秀的表现。
• DR < 1：罕见，意味着合成数据比真实数据另一子集更像当前这个真实子集，可能过度拟合。
• DR > 1：意味着生成器引入的偏差大于自然波动。例如 DR=2，说明生成器造成的偏差是基线波动的2倍。这个数值直观地告诉我们，生成器的退化程度相对于一个合理的期望值是多少。

实操心得：退化比是一个非常实用的工具，它让不同生成器、甚至不同指标之间的比较变得有意义。在项目报告中，我总会并列呈现绝对偏差和退化比。绝对偏差给业务方一个直观的感受，而退化比则给技术团队一个明确的优化目标——能否接近甚至达到1？计算基线时，随机分割的种子也需要固定，并且可以多次分割取平均，以获得更稳定的基线估计。表3中报告基线值，就是为了让所有评估都在同一标尺下进行。

4. 完整评估流程与工程化实践

将实体分配和行为指标计算串联起来，就形成了一套完整的合成数据行为保真度评估流程。这个流程完全可以工程化、自动化，集成到你的MLOps管道中。

4.1 端到端评估流水线设计

一个稳健的评估流水线应包含以下步骤，我通常用Python脚本配合配置文件来组织：

1. 输入准备：加载真实数据集 D_real（包含EntityCol）和合成数据集 D_syn（不含EntityCol，但包含时间戳TransactionDT和类别标签）。
2. 实体分配模块：实现算法A1。关键函数包括 compute_entity_size_distribution(D_real, entity_col, class_col) 和 assign_synthetic_entities(D_syn, size_dist_real, time_col, seed)。务必做好单元测试，验证分配后合成实体的规模分布是否与真实分布匹配（可用KS检验或可视化对比）。
3. 行为指标计算模块：
   • 规则引擎：实现一个规则计算类，可以加载预定义的规则配置文件（YAML或JSON格式），对输入的数据框（需包含实体ID、时间戳、必要特征）进行计算，输出每个实体是否触发每条规则的结果。
   • 指标计算器：根据规则触发结果，计算 TR_r 和 B_VR。同时，实现基线计算函数，通过对 D_real 的随机分割来计算 B_VR(BASELINE)。
4. 报告生成：自动生成评估报告，包括：
   • 实体大小分布的对比图。
   • 每条规则触发率的真实 vs 合成对比条形图。
   • B_VR 和 DR 的数值结果表格。
   • 对退化最严重的几条规则进行根因分析（例如，是否合成数据中某些特征组合导致时间窗口内事件密度异常）。

4.2 常见问题与排查技巧实录

在实际操作这套评估体系时，我踩过不少坑，也总结了一些排查技巧：

问题1：合成数据的速度规则触发率普遍远低于真实数据。

• 排查思路：首先检查实体分配后的“实体”行为是否过于平淡。使用实体级特征进行对比，例如计算每个实体的“日均交易数”、“交易时间间隔的方差”等。
• 可能原因与解决：
  • 原因A：生成器是独立同分布（i.i.d.）生成每条记录，完全丢失了实体内部行为的序列相关性和聚集性。即使通过我们的算法将记录分组，组内记录之间也没有任何时序逻辑关联。解决：考虑使用时序生成模型（如TimeGAN、Transformer-based生成器），或在生成特征时引入对实体历史行为的隐变量。
  • 原因B：合成数据的时间戳 TransactionDT 的分布或间隔分布与真实差异太大。解决：单独评估合成时间戳的分布保真度，并考虑在生成时对时间戳进行条件化生成。

问题2：退化比（DR）在某些规则上异常高，但在其他规则上正常。

• 排查思路：孤立分析这条异常规则。检查该规则依赖的具体特征在合成数据中的分布。
• 可能原因与解决：
  • 原因A：规则依赖的某个特征，其边缘分布或联合分布在合成数据中失真。例如，规则是“1小时内交易金额标准差大于X”，而合成数据中交易金额的波动性被平滑了。解决：针对该特征进行深入的分布对比（如QQ图），并反馈给生成器训练过程，可能需要调整该特征在损失函数中的权重。
  • 原因B：规则逻辑涉及复杂的特征交互，而生成器未能捕捉到这种交互关系。解决：这是生成模型的固有挑战。可以尝试在规则触发样本和未触发样本上，分别对比真实与合成数据的特征差异，寻找线索。

问题3：实体分配算法运行缓慢，尤其在大数据集上。

• 排查思路：算法瓶颈通常在排序和按大小循环分配步骤。
• 优化技巧：
  • 向量化抽样：使用numpy.random.choice一次性抽取足够多的大小值（略多于所需），而不是在循环中逐个抽取。
  • 批量分配：利用Pandas的iloc进行切片批量赋值，避免逐行操作。
  • 并行化：如果不同类别的数据独立，可以对每个类别并行执行分配过程。

问题4：评估结果不稳定，每次运行略有差异。

• 排查：确保所有随机过程都使用了固定种子，包括：实体分配中的抽样和置换、基线计算中的真实数据分割。如果仍有微小波动，可能是由于排序的稳定性（确保时间戳相同的数据有确定的排序规则）或浮点数计算精度导致。通常，固定种子后结果应是完全确定性的。

5. 超越基础：高级考量与扩展方向

掌握了上述核心方法后，我们可以进一步思考如何深化和扩展这套评估体系。

5.1 实体分配算法的局限性讨论

我们必须再次强调，本文描述的实体分配算法是一个“保守估计”或“下界估计”。它存在几个关键假设：

1. 实体大小与行为独立：算法假设只要实体的大小分布对了，其内部的行为序列就可以通过随机置换来近似。这显然忽略了大小与行为的相关性（例如，交易频繁的实体可能具有特定的行为模式）。
2. 类别内同质性：算法按类别分配，假设同一类别（如欺诈/非欺诈）内的所有实体，其大小分布是可交换的。这可能掩盖了类别内更细粒度的模式。
3. 无法生成新结构：算法严格遵循真实数据的分布，无法评估生成器创造新的、合理的实体规模模式的能力。

因此，在报告结论时，应明确指出：“本评估结果基于外部强加的实体结构，实际生成器若能联合生成ID，性能可能优于本评估结果。当前结果反映了在实体结构保真度最坏假设下的行为保真度。”

5.2 行为指标体系的丰富化

速度规则触发率（P4）只是行为指标的一种。一个全面的评估体系还应包括：

• P1（聚合统计量保真度）：在实体级别计算聚合特征（如实体总交易额、平均交易间隔、活跃天数等）的分布，并与真实数据比较。这可以在实体分配后直接计算。
• P2（时间序列模式保真度）：评估实体行为序列的动态模式，例如使用自相关函数、序列熵、或通过一个预训练的行为序列编码器来比较真实与合成序列在隐空间的距离。
• P3（关联关系保真度）：评估实体之间的关系网络是否得以保持。例如，在电商数据中，用户-商品的交互二部图结构；在金融中，账户之间的转账网络。这需要生成器能处理图结构数据。

将这些指标与P4结合，形成一个多维度的评估雷达图，能更全面地刻画合成数据的质量。

5.3 与下游任务性能的关联性验证

行为保真度评估的终极目标是服务于下游任务，如机器学习模型训练。因此，最有力的验证是进行“下游任务性能测试”：

1. 训练/测试分离：在真实数据上训练一个风控模型（如欺诈检测分类器），然后在合成数据上评估其性能（如AUC、精确率、召回率）。
2. 对比基准：同时，在另一部分真实数据（与训练集同分布）上评估该模型的性能。
3. 分析差距：比较模型在合成测试集和真实测试集上的性能差距。如果行为指标（如P4）保真度高，那么通常这个性能差距会小。

这个测试能直接将抽象的数据质量指标，转化为业务方关心的、实实在在的模型效果差异，极具说服力。我在项目中发现，一个在P4指标上表现优异的合成数据集，确实能让下游模型的表现更接近在真实数据上的表现，尽管通常仍会有几个百分点的AUC下降。这下降的部分，正是我们未来优化生成器的明确目标。