保护大模型隐私安全,摩斯获NeurIPS顶会“2024大模型隐私挑战赛赛道冠军”
开篇
近日,第三十八届神经信息处理系统年会(NeurIPS 2024)特设官方赛——大语言模型隐私挑战赛(LLM-PC)落幕。摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍,荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全,有助于推动整个领域向构建更加安全、可靠的AI系统目标前进,冠军方案也代表着当前业界领先技术。


赛事信息
NeurIPS是机器学习领域三大顶级国际会议之一,也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始,由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织,吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案,从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。

赛题方案介绍
在攻击赛道中,我们通过查询目标模型来构建提示语,促使其为每个掩盖的个人可识别信息(PII)生成候选回应,并计算其损失值,再用自我提示候选提取和基于损失的贪心搜索,选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法,以加速候选项的选择过程。我们的方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率
在防御赛道中,我们利用数据脱敏与合成技术,对包含PII的语料进行随机替换,之后以自回归的方式微调目标模型,可以扰乱大模型对PII信息的记忆,降低其输出正确PII的可能,防止隐私数据泄漏。该方案使主办方提供的攻击方法成功率相对降低30.6%,同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。
产业应用
解决数据和模型的隐私安全问题,是大模型在产业界尤其是金融行业落地的重要课题。结合比赛同款方案,摩斯研发了大模型隐私保护产品,该产品融合数据脱敏、拆分学习、模型混淆、差分隐私、TEE等多种技术路线,实现大模型落地应用中的模型微调、推理全链路数据和模型隐私保护。
在行业应用方面,摩斯大模型隐私保护产品已在银行、证券等多个行业落地推进中。目前已应用在网商银行农业助贷场景,利用摩斯的大模型隐私保护技术融合多方时空大数据,共建“密态时空大模型”,进行行内农户贷款风险评估,进一步提升种植户金融放款效率和满意度。
持续技术创新,摩斯仍在加速!
欢迎与行业伙伴进行业务共创、产业落地合作!
关注我,获取更多资讯~

相关推荐
最新2026黑龙江省村界村级行政区划矢量shp数据下载
最新2026黑龙江省村界村级行政区划矢量shp数据,几千个面,属性包含村、社区乡、街道镇、市多级属性,非常准确
政府科技管理者在推动科技成果转化过程中,如何精准匹配供需双方并提高对接效率?.docx
政府科技管理者在推动科技成果转化过程中,如何精准匹配供需双方并提高对接效率?
密码学基于大整数模运算的减法操作序列分析:4096位输入在固定模数下的逐步约简过程研究
内容概要:该文档记录了对一个大整数模运算(mod 4096)过程中连续减法操作的详细执行过程,主要围绕输入值与固定大数N之间的多次减法运算展开。文档展示了每轮减法前的临时值(temp)、当前N的十六进制表示以及两者的差值(diff),并标注了具体的减法编号、计算周期和输入位位置。整个过程共涉及上千次减法尝试,最终得到一个非负余数结果(FINAL),表明这是某种高精度模减算法(如Montgomery Reduction或类似逐位迭代方法)的实现追踪。文档的核心是展示大数模运算中逐步逼近余数的计算轨迹,强调二进制高位对齐下的条件
基于转子磁场定向的飞轮储能机侧PQ控制与网侧恒压双闭环协调策略研究(Simulink仿真实现)
内容概要:本文研究了基于转子磁场定向的飞轮储能系统在机侧与网侧的协调控制策略,重点实现了机侧PQ控制与网侧恒压双闭环控制的Simulink仿真实现。通过转子磁场定向技术,对飞轮储能系统的有功与无功功率进行精确解耦控制,有效提升了系统在并网运行时的稳定性与动态响应性能。网侧采用恒压双闭环控制策略,确保直流母线电压稳定,实现能量的高效双向流动。文中详细阐述了控制策略的设计原理、数学建模过程及仿真模型的构建方法,并通过仿真验证了该协调策略在功率平滑、电压支撑、动态调节及系统稳定性方面的有效性。; 适合人群:具备电力电子、电力系统或自动控制基础知识,从事新能源储能系统、飞轮储能技术、电力系统仿真等相关领域研究的研究生、科研人员及工程技术人员。; 使用场景及目标:① 掌握飞轮储能系统在并网工况下的机侧PQ解耦控制原理;② 学习基于转子磁场定向的矢量控制方法在储能系统中的应用;③ 实现并优化机侧与网侧双闭环协调控制策略,提升系统动态性能与稳定性;④ 为后续开展混合储能系统、微电网能量管理及高比例可再生能源接入系统的控制研究提供技术基础与仿真参考。; 阅读建议:建议结合Simulink仿真模型逐步理解控制结构设计,重点关注坐标变换、PI控制器参数整定、双闭环耦合关系及仿真结果分析,可尝试修改控制参数或工况设置以深入掌握系统响应特性。
2026海南省行政区划矢量图层-省市县乡镇四级行政区划数据下载
2026最新海南省行政区划矢量图层数据,包含省、市、县、乡镇四级行政区划数据,wgs84坐标


