摩斯营销科技大模型方向论文被顶会AAAI录用
近日,国际人工智能顶级学术会议AAAI 2025放榜,摩斯团队在大模型隐私微调方向论文被该会议录用!
要让大模型适应各不一样的下游任务,微调必不可少。常规的中心化微调过程需要模型和数据存在于同一位置 —— 要么需要数据所有者上传数据(这会威胁到数据所有者的数据隐私),要么模型所有者需要共享模型权重(这又可能泄露自己花费大量资源训练的模型)。此外,在第二种情况下,模型的参数可能暴露,这可能会增加其微调模型受到攻击的可能性。这些问题都可能阻碍 LLM 的长期发展。
为了有效地保护模型所有权和数据隐私,浙江大学、蚂蚁数科、利物浦大学和华东师范大学的朱建科与王维团队提出了一种全新的跨域微调(offsite-tuning)框架:ScaleOT。该框架可为模型隐私提供多种不同规模的有损压缩的仿真器,还能促进无损微调(相比于完整的微调)。该研究论文已被人工智能顶会 AAAI 2025 录用。第一作者为姚凯(蚂蚁摩斯高级算法工程师,浙大博后),通讯作者为朱建科教授与王维老师。

-
论文标题:ScaleOT: Privacy-utility-scalable Offsite-tuning with Dynamic LayerReplace and Selective Rank Compression
-
论文地址:https://arxiv.org/pdf/2412.09812
原生跨域微调的不足之处
如下图 2(b) 所示,跨域微调(OT)不是使用完整的模型进行训练,而是允许数据所有者使用模型所有者提供的有损压缩仿真器进行微调,但这种范式有个缺点:会让数据所有者得到的仿真器的性能较差。然后,训练得到的适配器会被返回给模型所有者,并被插入到完整模型中,以创建一个高性能的微调模型。特别需要指出,数据所有者和模型所有者端之间的模型性能差异是模型隐私的关键因素,这会促使下游用户使用微调的完整模型。

因此,跨域微调的主要难题在于高效压缩 LLM,通过在维持性能差异的同时提升微调的完整模型,从而实现对模型隐私的保护。
遵循跨域微调策略,原生 OT 方法采用的策略是 Uniform LayerDrop(均匀层丢弃),从完整模型中均匀地删除一部分层,如图 3(a)所示。

图 3:分层压缩策略比较。(a)Uniform LayerDrop;(b)带估计的重要性分数的 Dynamic LayerDrop;(c)带协调器的 Dynamic LayerReplace;(d)使用不同压缩比的结果。新方法在所有者端实现了更好的性能,同时保持了性能差异。
然而,尽管大型模型中的许多参数是冗余的,但每层的重要性差异很大,这种均匀删除可能会导致适应后的完整模型的性能下降。此外,直接的层删除会导致被删除层的输入和输出隐藏空间之间错位,这也会导致所有者端的性能下降。虽然知识蒸馏可以缓解这个问题,但训练一个所需的仿真器的成本至少是 LLM 大小的一半,这意味着巨大的训练成本为提供具有不同压缩比的仿真器带来了重大缺陷。
摩斯ScaleOT跨域微调方案的独特之处
如上图 2 (c) 所示,该框架由两个阶段组成:重要性估计和仿真器生成。
对于第一阶段,摩斯团队提出了一种基于重要性感知型层替换的算法 Dynamic LayerReplace,该算法需要使用一种强化学习方法来确定 LLM 中每一层的重要性。同时,对于不太重要的层,动态选择并训练一组可训练的协调器作为替代,这些协调器是轻量级网络,可用于更好地实现剩余层的对齐。
在第二阶段,根据学习到的重要性得分,可将原始模型层及其对应的协调器以各种方式组合到一起,从而得到仿真器(emulator),同时还能在模型所有者端维持令人满意的性能,如图 3 (d) 所示。
他们根据实践经验发现,如果使用秩分解来进一步地压缩剩余的模型层,还可以更好地实现隐私保护,同时模型的性能下降也不会太多。基于这一观察,摩斯团队提出了选择性秩压缩(SRC)方法。
摩斯团队进行了大量实验,涉及多个模型和数据集,最终证明新提出的方法确实优于之前的方法,同时还能调整压缩后仿真器模型的大小以及 SRC 中的秩约简率。因此,这些新方法的有效性和可行性都得到了验证。
总结起来,摩斯团队的这项研究做出了三大贡献:
-
提出了一种灵活的方法,可为跨域微调得到多种大小的压缩版模型:提出了一种重要性感知型有损压缩算法 Dynamic LayerReplace,该算法面向使用 LLM 的跨域微调,可通过强化学习和协调器来扩展仿真器。这些组件可以实现灵活的多种规模的压缩模型生成。
-
仅需一点点微调性能下降,就能通过进一步的压缩获得更好的隐私:新提出的选择性秩压缩策略仅需少量性能损失就能进一步提升模型隐私。
-
全面的实验表明,新提出的 ScaleOT 优于当前最佳方法。
这种新的大模型跨域微调算法,设计了重要性感知的动态层替换模型压缩方法,有效攻克了在仿真器生成时计算复杂度高、模型隐私安全性不足等难题,为大模型隐私微调方向提供了新颖的思路与解决方案。
这一全新的大模型隐私微调算法,现已融入摩斯大模型隐私保护产品。该产品融合多种技术路线,实现大模型落地应用中的模型微调、推理全链路数据和模型隐私保护,并成为首批通过信通院大模型可信执行环境产品专项测试的产品之一。目前摩斯大模型隐私保护产品已在银行、证券等多个行业落地推进中。在某银行农业助贷场景,利用摩斯的大模型隐私保护技术融合多方时空大数据,共建“密态时空大模型”,进行行内农户贷款风险评估,进一步提升种植户金融放款效率和满意度。
摩斯营销科技持续创造行业价值
目前摩斯隐私计算产品已在上百家银行等金融机构部署使用,全行业已部署300多家,建立以隐私计算节点网络连接的资源网络,包含数据源和流量场景的资源网络。在营销场景下,可以帮助企业实现公私域客群安全打通,帮助企业制定全生命周期的客群经营增长策略。
-
在金融机构营销场景,摩斯通过隐私计算技术,可以打通机构公私域客群,进行客群一体化分析;通过多方资源连接,共建密态模型,进行用户洞察分析,帮助机构制定拉新、促活、召回全生命周期客群经营增长策略;通过摩斯营销平台连接支付宝、饿了么等数十个流量平台,帮助机构进行自助化、智能化营销投放。
-
针对银行卡用户,我们提供全生命周期的营销服务,在发卡、绑卡、促活等各阶段,采用隐私计算技术安全合规使用多方数据来实现精准营销。
未来,摩斯也将持续投入隐私智能领域,在大模型安全、互联互通等技术难题上持续突破,并通过摩斯隐私计算产品安全连接全渠道分布式的流量场景平台、数据源等,助力数据安全流通与价值释放,提升客群分析与精准营销服务能力。
关注我,获取更多资讯~
相关推荐
好用免费猴PDM查阅器v1.7
# 好用免费猴PDM查阅器 一个用 Python 写的 **PowerDesigner `.pdm` 模型阅读器**:不用装 PowerDesigner,双击就能把 `.pdm` 里的表、字段、主键、索引、外键、注释全部摊开看,任意内容可直接复制,并一键导出 Excel / HTML / Markdown / 建表 DDL。 - **v1.7**:彻底修掉「再点表就覆盖已打开的 sheet」——已打开的表单独记成一份标签列表,和左侧「选中」不再共用状态,**筛选框找表后再点,永远是新开一个标签、绝不动已有的**;已打开的表在清单里显示为**绿色**,再点它是「切回那个标签」,`Ctrl`+单击才关掉 - **v1.6**:左侧清单**点一下就打开**(不用再按 Ctrl / Shift);启动默认进「标签页切换」;标签页开着 5 张以上时切「并排分屏」会自动弹窗让你挑要保留的 4 张 - **v1.5**:两种多表视图 ——「并排分屏」(≤4 栏,窄栏也显示全部列,Shift+滚轮 / 中键拖动可横向滚动)+「标签页切换」(像 Excel sheet 一样一个表一个标签,最多 12 个,看另一张表时其余自动隐藏);exe 图标改用 Windows 原生多尺寸设置,标题栏/任务栏不再被拉伸糊掉 - **v1.4**:多表分屏 —— 左侧按住 Ctrl / Shift 多选表,右侧每张表开一个独立面板并排展示(最多 4 个,各栏自动等宽),超了会弹窗让你自己挑;exe 换成新的像素猴子图标 - **v1.3**:打开过的文件会被记住,下次启动自动载入同一批模型并回到上次查看的表,不用每次重新选 - **v1.2**:新增程序内复制(任意表格框选 → Ctrl+C / 右键复制,支持 Tab 分隔与 Markdown) - 单文件实现,`pdm_viewer.py` 一个文件
用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计研究(Matlab代码实现)
内容概要:本文围绕“用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计研究”展开,系统阐述了卡尔曼滤波在动态系统状态估计中的核心作用,重点探讨了最优增益的递推计算方法与基于最小均方误差准则的状态更新机制。研究内容涵盖线性系统状态估计的完整流程,包括状态预测、协方差传播、创新计算、卡尔曼增益求解及状态校正等关键步骤,并通过Matlab代码实现了算法的仿真验证,展示了其在噪声环境下对系统状态进行高精度跟踪的有效性。文中不仅强调理论推导,还注重工程实现细节,帮助读者深入理解卡尔曼滤波的数学本质与自适应特性。; 适合人群:具备线性代数、概率统计及控制理论基础知识,熟悉Matlab编程语言,从事自动化、电子信息、通信工程、导航制导、信号处理、物联网或智能系统研发等相关领域的研究生、科研人员及工程技术人员。; 使用场景及目标:①应用于传感器数据融合、目标跟踪、惯性导航(如GNSS/INS组合导航)、工业过程监控等存在噪声干扰的状态估计任务;②帮助读者掌握卡尔曼滤波从数学建模到代码实现的全过程,深入理解MMSE估计原理及其在提升系统鲁棒性与精度方面的关键作用;③为后续学习非线性滤波算法(如扩展卡尔曼EKF、无迹卡尔曼UKF)以及更复杂的多传感器融合架构奠定坚实的理论与实践基础。; 阅读建议:建议读者结合提供的Matlab代码逐行调试运行,重点关注预测与更新过程中各矩阵的维度变化与数值演化,尝试调整过程噪声与观测噪声的协方差参数,观察其对滤波收敛速度、估计精度及卡尔曼增益自适应调节的影响,从而深刻领会滤波器的设计思想与调参技巧。
适合政府进行产业链技术缺口识别的分析工具有哪些?.docx
科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。
Hybrid Mount
杂交挂载元模块 Hybrid Mount Metamodule
【储能选址定容】基于多目标粒子群算法的配电网储能选址定容(Matlab代码实现)
内容概要:本文系统阐述了基于多目标粒子群算法(MOPSO)的配电网储能选址定容优化方法,旨在科学解决储能系统在配电网络中的最佳安装位置与容量配置问题。研究构建了一个综合考虑网损最小化、电压偏差改善和投资成本节约的多目标优化模型,并采用改进的多目标粒子群算法进行高效求解,获得一组代表不同权衡关系的Pareto最优解集,进而结合模糊决策等多属性决策方法从中遴选出最理想的折衷方案。文中详细剖析了算法的核心原理、数学建削过程及求解策略,并提供了完整的Matlab代码实现,通过在标准IEEE测试系统上的仿真实验,充分验证了该方法在提升配电网运行经济性、改善电能质量及增强系统综合效益方面的有效性与优越性。; 适合人群:具备电力系统分析、优化算法基础知识的研究生、科研人员及从事电网规划、储能系统设计与运行的工程技术人员。; 使用场景及目标:①研究配电网中储能系统的科学规划与优化配置方法;②深入学习多目标优化算法在电力系统规划领域的实际应用与实现技巧;③掌握基于Matlab平台的电力系统仿真建模与优化编程能力,为相关课题研究提供技术支持。; 阅读建议:在阅读时应重点关注多目标优化模型的构建逻辑、粒子群算法的改进机制及其在电力系统约束处理上的实现细节,建议结合提供的Matlab代码进行逐行调试与复现,通过调整系统参数、约束条件和权重系数等方式,深入探究算法的性能表现和优化结果的变化规律,以达到融会贯通的学习效果。


