联邦学习结合LoRA技术：高效抑制6G无线网络异构干扰

联邦学习LoRA干扰抑制

于 2026-05-31 03:18:05 修改

·本内容遵循CC 4.0 BY-SA版权协议

1. 项目概述与核心挑战

在面向6G的密集无线网络部署中，基站（gNB）面临的共信道干扰问题正变得日益复杂和异构。想象一下，一个部署在工业区附近的基站，可能常年受到重型机械产生的电磁干扰；而另一个位于城市中心的基站，则可能被周围无数用户设备的通信信号所淹没。这些干扰不仅类型各异，其强度和模式也随着时间和地理位置动态变化，对物理层的信号分离与恢复构成了严峻挑战。

传统的深度学习方法，如基于WaveNet的模型，虽然在集中式训练下展现了卓越的干扰抑制性能，但当我们将这些模型部署到成百上千个分布式基站并进行个性化适配时，问题就来了。如果采用标准的联邦学习（FL）方案，每个训练周期都需要在基站和中央服务器之间传输完整的模型更新（动辄数十万甚至上百万参数），这对于带宽受限的回传链路来说是难以承受之重。更棘手的是，各个基站所处的电磁环境天差地别，其收集到的干扰数据天然就是非独立同分布的——这意味着一个基站的“经验”很难直接套用到另一个基站上，强行进行全局模型平均（FedAvg）往往会导致模型在部分节点上性能严重退化，即所谓的“灾难性遗忘”。

正是在这样的背景下，参数高效微调技术与联邦学习的结合，为我们打开了一扇新的大门。其核心思路非常巧妙：我们不再折腾整个庞大的神经网络，而是像给一个精密的仪器安装可更换的“专用模块”一样，只训练和更新一小部分关键的“适配器”参数。主干网络（Backbone）在中心预先用丰富的数据训练好，掌握了通用的信号提取能力后，便被“冻结”起来，分发到各个基站。每个基站则根据自己本地独特的干扰环境，仅训练一个轻量级的适配器，让它学会如何微调主干网络，以更好地滤除本地特有的干扰。最后，这些小巧的适配器（而非整个模型）被上传、聚合，形成一个更通用的适配器知识库，再分发给所有基站共享。

这种方法一举多得：本地训练的计算和内存开销大大降低，适合资源受限的边缘设备；每轮通信需要传输的数据量锐减，缓解了网络压力；同时，由于只更新一小部分参数，模型在适应新环境时，其已经学到的通用知识被破坏的风险也最小化。在本文探讨的工作中，研究者们将一种名为LoRA的低秩自适应技术，创造性地应用到了用于信号处理的时域卷积网络（具体是WaveNet的扩张卷积层）上，并在模拟的O-RAN异构干扰环境中进行了验证，取得了显著的效果。

2. 核心原理深度拆解：为什么是LoRA与扩张卷积？

2.1 从参数高效微调到低秩自适应

参数高效微调并非一个单一技术，而是一类方法的统称，其核心目标是在迁移学习或领域适配时，尽可能少地改动预训练模型的参数。常见的方法包括适配器模块、前缀微调、提示学习等。LoRA是其中一种优雅且高效的代表。

它的灵感来源于一个在机器学习中常见的观察：模型在适应新任务时，其权重矩阵的更新往往具有“低秩”特性。简单理解，权重矩阵的更新量（ΔW）并不需要是一个满秩的、充满各种复杂变化的矩阵，而可以用两个更小矩阵的乘积来近似表示，即 ΔW = B * A。其中，A是一个将输入维度投影到低维空间（秩r）的矩阵，B则负责从低维空间投影回输出维度。由于r远小于原始的输入输出维度，A和B的参数量之和会远小于原始权重矩阵W的参数量。

这样做有几个关键优势：

参数效率极高：可训练参数数量锐减。在本文的案例中，281,954参数的主干网络，仅需引入14,400个LoRA参数（秩r=4），占比约5.1%。
无推理延迟：训练完成后，可以将BA直接加到原始冻结的权重W上，合并成一个新的权重矩阵 W‘ = W + BA。因此，在推理时，模型结构和计算量与微调前完全一致，不会引入任何额外的计算开销或延迟，这对于对实时性要求极高的物理层信号处理至关重要。
模块化与可叠加性：不同的LoRA模块可以针对不同任务进行训练，并灵活地添加或移除，为实现多任务或多环境适配提供了便利。

2.2 WaveNet与扩张卷积：为何是干扰抑制的利器？

要理解为什么将LoRA放在扩张卷积层上，首先要明白WaveNet架构，特别是其扩张卷积层，在信号处理中的独特作用。

WaveNet最初是为语音生成设计的，其核心是扩张因果卷积。与普通卷积相比，扩张卷积在卷积核的元素之间插入“空洞”（dilation），从而在不增加参数量的情况下，指数级地扩大感受野。例如，对于一个核大小为3的卷积层，扩张率d=1时，感受野是3；d=2时，感受野是5；d=4时，感受野是9；以此类推。

在RF信号分离任务中，干扰信号往往具有复杂的时序结构，可能包含短期的突发脉冲，也可能包含长期的周期性噪声。扩张卷积堆叠形成的网络，就像一套多尺度的“时域滤波器组”：底层的浅层网络捕捉细微的、短期的干扰特征；随着网络加深、扩张率以2的幂次增长，高层的网络则能捕捉更宏观的、长期的干扰模式。这种结构非常适合处理时间序列信号，能够有效地从混合信号中分离出不同时间尺度的干扰成分。

因此，干扰抑制的关键在于调整模型对不同时间尺度干扰模式的过滤行为。而扩张卷积层正是执行这一“时域滤波”功能的核心部件。相比之下，网络中常见的1x1卷积层主要负责通道间的信息混合与整合，其功能更偏向于特征变换而非时序建模。

2.3 设计抉择：将LoRA注入扩张卷积层

基于以上分析，本文做出了一个关键的设计选择：仅将LoRA适配器添加到WaveNet的每个残差块中的扩张卷积层上，而保持1x1卷积层冻结。

为什么这么设计？

精准干预：既然干扰抑制主要依赖于时域滤波能力的调整，那么直接对执行滤波操作的扩张卷积层进行“手术式”微调，是最直接有效的方式。LoRA模块（B*A）在这里学习的是如何对冻结的扩张卷积权重W进行低秩修正，从而改变其滤波特性，使其更适应本地特定的干扰时序模式。
结构保持：LoRA模块中的下投影矩阵A，其卷积核大小和扩张率（dilation rate）被设置为与它要适配的原始扩张卷积层完全一致。这确保了LoRA分支与原始分支在时序处理上完全对齐，不会破坏网络固有的多尺度感受野结构。
效率最大化：仅对部分层添加适配器，进一步压缩了可训练参数量。如果对所有权重层都添加LoRA，虽然可能带来微小的性能提升，但会显著增加通信和计算成本，违背了“高效”的初衷。

这个设计体现了“好钢用在刀刃上”的思想，将有限的、可训练的参数量，精准地投入到对任务性能影响最大的网络部位。

3. 联邦学习框架下的系统实现

3.1 面向O-RAN的系统架构

本方案天然契合O-RAN的开放化、模块化理念。我们可以将系统架构映射到O-RAN的组件上：

分布式客户端：每个gNB（基站），具体是其O-DU（分布式单元）或近实时RIC（无线智能控制器）内的计算单元，作为联邦学习的客户端。它们拥有本地的IQ采样数据，并运行着包含冻结主干和可训练LoRA适配器的信号分离模型。
中央聚合服务器：近实时RIC或非实时RIC可以作为联邦学习的服务器，负责协调训练流程，聚合来自各个gNB的LoRA适配器更新。
通信链路：gNB与RIC之间通过带宽受限的中传/回传链路连接。这正是需要极力压缩通信量的地方。

整个工作流程分为两个阶段：

中心预训练阶段：在一个拥有丰富多样干扰数据的中心服务器上，训练一个完整的WaveNet信号分离模型作为主干网络。此模型学习通用的信号提取能力。
联邦适配阶段： a. 分发：将冻结的主干网络和初始化（通常为零）的LoRA适配器分发到所有参与联邦的gNB。 b. 本地训练：每个gNB使用本地的干扰数据，仅训练自己的LoRA适配器参数（θ_k），冻结的主干网络（W）保持不变。本地目标是最小化估计信号与真实信号之间的均方误差。 c. 上传：每个gNB将训练好的LoRA参数（Δθ_k）上传到聚合服务器。 d. 聚合：服务器使用加权平均（FedAvg）聚合所有上传的适配器参数，得到新的全局适配器参数（θ_global）。加权权重通常与各节点的数据量成正比。 e. 分发：将聚合后的全局适配器参数分发给所有gNB，替换其本地适配器，作为下一轮训练的起点。 f. 重复：进行多轮（如R=10轮）的b-e步骤。 g. 推理：联邦训练结束后，每个gNB使用“冻结主干 + 本地最终版LoRA适配器”进行实时信号分离。这个模型既包含了通用的信号知识（来自主干），又具备了针对本地干扰环境的特化能力。

3.2 通信开销的量化分析

通信效率的提升是该方法最直观的优势。我们来算一笔账：

全模型联邦平均：需要传输整个模型的参数。在本文的WaveNet示例中，|W| = 281,954个参数。
联邦LoRA：仅需传输LoRA适配器的参数。每个残差块的扩张卷积层引入的LoRA参数量为：r * C_in * K + C_out * r * 1。其中，r=4（秩），C_in=C_out/2=48（通道数），K=3（卷积核大小）。计算可得每个块约960个参数，15个块共14,400个参数。
对比：281,954 / 14,400 ≈ 19.6。这意味着每轮通信，每个节点需要传输的数据量减少了约20倍。在动辄成百上千个基站的网络中，这种节省是颠覆性的，使得在带宽受限的边缘进行频繁的模型迭代更新成为可能。

3.3 与非独立同分布数据的博弈

联邦学习中的“非独立同分布”挑战在本场景中体现得淋漓尽致。每个gNB的干扰数据分布I_k各不相同：

类型差异：有的节点主要是通信信号干扰，有的是电磁干扰，有的是混合干扰。
数据量差异：某些罕见干扰（如特定工业EMI）的数据可能非常少。

标准的FedAvg在处理这种异构数据时，容易因为节点间梯度方向冲突而导致模型收敛到次优点，甚至在某些节点上性能倒退。本文的方案通过两条路径缓解了这个问题：

参数空间约束：仅更新LoRA适配器这个小参数子集，相当于将模型更新的“探索范围”限制在一个低维子空间内。这就像大家在一个小房间里讨论如何调整仪器的一个小模块，比在一个大广场上各自胡乱调整整个仪器要容易达成共识，避免了因大幅改动而破坏主干网络已学到的通用知识。
知识转移：对于数据稀缺的节点（例如，一个很少遇到EMI干扰但突然需要应对它的基站），通过聚合其他遇到过EMI干扰的节点的LoRA适配器，它能间接获得应对该干扰的知识。实验也证实，在数据不平衡场景下，联邦LoRA在数据稀缺节点上的表现优于纯本地训练的LoRA。

4. 实验配置与关键参数解读

为了验证方案的有效性，研究者构建了一个贴近现实的仿真环境。

4.1 数据与节点配置

信号模型：接收信号 y(t) = s(t) + i_k(t)。其中s(t)是QPSK调制的OFDM期望信号，i_k(t)是节点k特有的干扰。信干噪比在[-10, +10] dB范围内随机变化。
干扰类型：三种——两种通信干扰信号，一种电磁干扰信号。
节点设置：5个gNB，模拟异构环境：
- 节点1：仅通信干扰A
- 节点2：仅通信干扰B
- 节点3：通信干扰A + 电磁干扰
- 节点4：通信干扰B + 电磁干扰
- 节点5：仅电磁干扰
关键设定：主干网络预训练时从未见过电磁干扰数据。这意味着所有对电磁干扰的抑制能力，都必须通过后续的适配阶段（LoRA或全微调）从本地数据中学习。这极大地考验了适配方法从零开始学习新干扰模式的能力。
数据制度：
- 平衡制度：每个节点有3000个训练样本。
- 不平衡制度：电磁干扰样本每节点仅200个，模拟罕见干扰场景。

4.2 对比方法与超参数

研究者对比了七种策略：

Backbone：冻结的预训练主干，不进行任何适配（基线）。
FedAvg：对全部281,954个参数进行标准联邦平均。
L-FiLM / Fed-FiLM：本地/联邦化的FiLM（特征线性调制）条件化方法，仅调整每层的尺度和偏置，参数量仅1440个（0.51%）。
L-LoRA / Fed-LoRA：本地/联邦化的LoRA方法，参数量14400个（5.1%）。
Full-FT：本地全参数微调（性能上界）。

关键超参数一览表：

参数项	配置值	说明与考量
主干预训练
训练步数	151,200	确保模型充分收敛，学习到稳健的通用特征。
训练数据	56,000 混合信号	包含两种通信干扰，为模型打下基础。
学习率	5e-4	Adam优化器的标准设置，平衡收敛速度与稳定性。
本地适配
训练轮数	20	对于轻量级适配，20轮通常足以收敛。
学习率调度	ReduceLROnPlateau	在验证损失平台期降低学习率，有助于精细调优。
联邦适配
通信轮数 R	10	在通信成本与性能间折衷，实验表明多数节点在10轮内收敛。
每轮本地周期 E	2	每轮只进行少量本地更新，防止本地模型偏离太远，符合FedAvg设计。
聚合方法	加权FedAvg	按数据量加权，是联邦学习标准做法。
共享设置
优化器	Adam	自适应学习率，适合非凸优化。
学习率 (LoRA/FiLM)	1e-3	适配器参数通常需要比主干微调更大的学习率，因其初始化为零或小值。
学习率 (FedAvg/Full-FT)	1e-4	全参数训练需更谨慎的学习率，防止破坏预训练权重。
LoRA 秩 r	4	权衡点：秩2性能尚可，秩4性价比高，秩8提升有限但参数量翻倍。
混合精度训练	启用 (FP16)	加速训练，减少GPU内存占用，对最终精度影响甚微。

实操心得：学习率设置是关键。对于LoRA这类将新增参数初始化为零的方法，如果学习率设置过小，训练初期梯度更新微弱，收敛会非常缓慢。实践中，LoRA的学习率通常设为原始模型微调学习率的10倍或更高，是一个不错的起点，需要根据具体任务调整。

5. 结果分析与工程洞见

实验数据揭示了大量对工程实践有指导意义的细节。

5.1 性能表现：效率与效果的平衡

在平衡数据制度下，主要结论如下：

LoRA接近全微调性能：本地全微调平均比特误码率提升了14.3%，而本地LoRA提升了12.8%。这意味着仅用5.1%的可训练参数，就获得了约90%的全参数微调性能增益，参数效率极高。
联邦LoRA表现稳健：联邦LoRA取得了12.6%的平均提升，与本地LoRA（12.8%）相差无几。这说明在数据分布相对均衡的情况下，联邦聚合过程对LoRA适配器性能的“稀释”效应很小。
FiLM能力有限：本地和联邦FiLM仅提升了约6%。FiLM只能对特征进行全局的缩放和偏移，无法像LoRA那样引入新的滤波响应，因此在需要精细调整时域滤波行为的干扰抑制任务中能力不足。
标准FedAvg的灾难：虽然FedAvg平均提升了4.6%，但细看节点数据会发现严重问题：它在节点1（通信干扰A）上的性能反而比不微调的主干网络差了152.6%！这就是在高度异构数据上直接进行全模型联邦平均可能导致的“负迁移”或“灾难性遗忘”——为了提升在某些节点（如节点5，EMI）上的性能，模型牺牲了在其他节点上已经很好的表现。这凸显了在异构联邦环境中，限制更新范围的必要性。

5.2 数据稀缺下的韧性

在不平衡数据制度下（EMI数据极少），结论更有趣：

本地LoRA依然领先：平均提升9.2%，仍是轻量级方法中最优。
联邦LoRA在稀缺节点显优势：在数据最稀缺的节点5（仅200个EMI样本），联邦LoRA的性能提升（46.6%）超过了本地LoRA（42.5%）。这清晰地证明了联邦学习的知识转移价值：节点5通过聚合节点3和节点4的LoRA更新，间接获得了它们处理EMI干扰的经验，从而弥补了自身数据的不足。
全微调的上限：全微调提升10.5%，但联邦LoRA在节点5上几乎追平了全微调（47.0% vs 46.6%），再次证明了在数据不足时，通过联邦共享知识，可以用极少的参数获得接近全参数学习的性能。

5.3 泛化能力：看不见的干扰也能抑制

通过分析各节点模型在全局测试集（包含所有干扰类型）上的表现，发现了强大的泛化能力：

对未训练干扰的抑制：节点2（只训练过通信干扰B）的模型，在面对从未训练过的通信干扰A时，本地LoRA的误码率很高（0.120）。但经过联邦聚合后，其联邦LoRA模型对该干扰的误码率骤降至0.024，提升了80%。这说明联邦过程成功地将其他节点学到的“对抗干扰A的知识”传递给了节点2。
EMI抑制的普遍性：即使是在只训练过通信干扰的节点1和2上，其LoRA模型对EMI干扰也表现出了一定的抑制能力（误码率低于主干网络）。这表明主干网络已经蕴含了一些基础的信号分离结构，LoRA对其进行了有效的“激发”和“引导”。

5.4 通信-性能权衡与秩的选择

下图展示了不同秩（r）下联邦方法的性能与通信开销关系：（此处为文字描述图表）随着LoRA的秩r从2增加到4再到8，其性能（平均BER提升）从11.3%增长到12.6%再到13.5%，但同时每轮通信参数量也从7,200翻倍到14,400再到28,800。可以看到，从r=2到r=4性能提升显著，但从r=4到r=8提升非常有限（仅0.9个百分点）。

工程选型建议：r=4是一个极佳的性价比权衡点。它在只用主干网络5.1%参数的情况下，获得了绝大部分的性能增益。盲目提高r会线性增加通信和计算成本，但收益递减。在资源严格的边缘场景，甚至可以考虑从r=2开始尝试。

5.5 收敛性与稳定性分析

观察联邦训练过程中各节点验证损失的变化曲线，可以发现：

Fed-FiLM发散：除了节点5，其他四个节点的验证损失在1-2轮后开始持续上升。这说明仅有1440个尺度/偏置参数的FiLM，表达能力太弱，无法容纳来自多个异构节点的、可能相互冲突的更新方向，导致聚合后模型失调。
Fed-LoRA稳定收敛：所有节点在3-4轮后损失趋于稳定。14,400个参数提供了足够的表达能力来吸收异构更新，同时低秩结构又起到了正则化作用，防止优化过程失控。
FedAvg的“虚假收敛”：FedAvg的验证损失在很多节点上收敛到很低的值，但其最终的业务指标（BER）却可能很差（如节点1）。这警示我们，在联邦学习中，不能只看聚合损失，必须评估每个节点在本地任务上的真实性能。最小化全局损失函数可能与优化每个节点的本地目标相悖。

6. 常见问题与实战排错指南

在实际部署类似系统时，你可能会遇到以下问题：

Q1：我应该如何为我的模型和任务选择LoRA的秩（r）和放置层？ A1：这是一个经验与实验结合的过程。

秩的选择：从一个小值开始（如2、4、8）。在验证集上评估性能。如果性能不达标，逐步增加r。观察性能增益的边际效应，通常会在某个r值后增益急剧下降，那个点之前的值就是性价比最高的选择。本文实验表明，对于WaveNet这类中等规模模型，r=4是个甜点。
层的选择：并非所有层都同样重要。遵循“干预核心操作”原则。
- 分析模型架构：找出对任务输出最直接相关的层。对于时序任务，通常是循环层、注意力层或扩张卷积层。对于视觉任务，可能是最后的若干层全连接或卷积层。
- 进行消融实验：尝试仅将LoRA添加到模型的不同部分（如只加在后半部分、只加在注意力层等），比较性能。选择性能最好且参数增量最小的方案。
- 本文的启示：对于信号处理这种强时序依赖的任务，针对时域滤波层（扩张卷积）进行适配是高效的关键。

Q2：联邦学习过程中，某些节点性能突然下降怎么办？ A2：这通常是“客户端漂移”或“负迁移”的迹象。

检查数据分布：首先确认问题节点的数据分布是否与其他节点差异巨大。如果是，考虑：
- 个性化：允许节点在联邦聚合后，再进行少量本地微调，不强求完全一致。
- 聚类联邦：将数据分布相似的节点聚类，在簇内进行联邦学习，不同簇使用不同模型。
- 本文方案的天然优势：仅更新适配器参数，本身就对模型整体改动小，天然缓解了此问题。
调整联邦超参数：
- 减少本地训练轮数（E）：防止节点基于本地数据“走得太远”。
- 降低本地学习率：使本地更新更温和。
- 使用更鲁棒的聚合算法：如FedProx（在本地目标函数中加入一个近端项，约束本地更新不要离全局模型太远），或SCAFFOLD（使用控制变量校正客户端漂移）。
监控节点贡献：在聚合时，可以为来自性能稳定节点的更新分配更高权重，对性能波动大的节点更新进行衰减或裁剪。

Q3：如何确保LoRA适配器在聚合时的有效性？特别是当节点数据分布差异极大时？ A3：这是联邦LoRA的核心挑战。

初始化一致性：确保所有节点的LoRA模块（A, B矩阵）初始化方式相同。通常A用Kaiming初始化，B初始化为零。
聚合前检查：可以计算节点间LoRA参数更新的余弦相似度。如果某些节点的更新方向与主流方向完全相反，可能需要调查其数据质量或将其暂时隔离。
动态加权聚合：除了按数据量加权，也可以考虑按节点在本轮训练后的本地验证集性能提升幅度来加权，让性能提升大的节点对全局模型有更大影响力。
本文的稳定性：实验显示Fed-LoRA收敛稳定，部分原因在于LoRA更新的低秩特性本身具有平滑作用，且主干网络冻结提供了一个稳定的“锚点”，限制了优化的范围。

Q4：在资源受限的边缘设备上部署时，除了参数效率，还需要注意什么？ A4：

内存占用：虽然LoRA训练参数少，但前向传播时，需要同时加载冻结的主干权重和LoRA的A、B矩阵。确保设备有足够的内存容纳整个模型（主干+适配器）。推理时如果合并了权重，则与原始模型无异。
计算开销：LoRA的前向计算涉及额外的矩阵乘法（BAx）。虽然参数量小，但增加了操作。在极端苛刻的延迟要求下，需要实测推理速度。通常，由于参数量极少，这部分开销增加很小。
精度：如果使用混合精度训练（FP16），要注意LoRA参数的数值范围可能很小，确保在FP16下不会出现下溢或训练不稳定。有时需要将LoRA参数保持在FP32精度。

Q5：如何评估联邦干扰抑制系统的最终效果？ A5：不能只看聚合后的全局模型在某个统一测试集上的表现。

个性化评估：最重要的指标是每个节点使用其最终本地模型（冻结主干 + 该节点最终版的本地或聚合后LoRA）在其本地真实环境数据上的性能（如BER、SINR提升）。
泛化性评估：可以构建一个包含所有干扰类型的“全局测试集”，测试每个节点的本地模型在面对未见过的干扰类型时的表现，如上文对节点2测试通信干扰A那样。
收敛性与稳定性监控：绘制每个节点在联邦训练过程中的本地验证损失曲线和业务指标曲线，确保所有节点都向好的方向稳定发展，没有出现剧烈震荡或退化。
通信效率评估：记录达到目标性能所需的通信轮数，以及每轮通信的数据总量。与基线方法（如全模型FedAvg）对比，计算节省的带宽和训练时间。

通过这套系统的评估方法，你不仅能知道系统“好不好”，还能知道它“为什么好”以及“如何变得更好”。联邦学习与参数高效微调的结合，为在资源受限、数据异构的边缘网络部署智能应用提供了切实可行的技术路径。它告诉我们，有时候，让模型学会“专注地微调一小部分”，比“粗暴地更新全部”要聪明和有效得多。