保护大模型隐私安全,摩斯获NeurIPS顶会“2024大模型隐私挑战赛赛道冠军”
开篇
近日,第三十八届神经信息处理系统年会(NeurIPS 2024)特设官方赛——大语言模型隐私挑战赛(LLM-PC)落幕。摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍,荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全,有助于推动整个领域向构建更加安全、可靠的AI系统目标前进,冠军方案也代表着当前业界领先技术。


赛事信息
NeurIPS是机器学习领域三大顶级国际会议之一,也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始,由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织,吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案,从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。

赛题方案介绍
在攻击赛道中,我们通过查询目标模型来构建提示语,促使其为每个掩盖的个人可识别信息(PII)生成候选回应,并计算其损失值,再用自我提示候选提取和基于损失的贪心搜索,选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法,以加速候选项的选择过程。我们的方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率
在防御赛道中,我们利用数据脱敏与合成技术,对包含PII的语料进行随机替换,之后以自回归的方式微调目标模型,可以扰乱大模型对PII信息的记忆,降低其输出正确PII的可能,防止隐私数据泄漏。该方案使主办方提供的攻击方法成功率相对降低30.6%,同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。
产业应用
解决数据和模型的隐私安全问题,是大模型在产业界尤其是金融行业落地的重要课题。结合比赛同款方案,摩斯研发了大模型隐私保护产品,该产品融合数据脱敏、拆分学习、模型混淆、差分隐私、TEE等多种技术路线,实现大模型落地应用中的模型微调、推理全链路数据和模型隐私保护。
在行业应用方面,摩斯大模型隐私保护产品已在银行、证券等多个行业落地推进中。目前已应用在网商银行农业助贷场景,利用摩斯的大模型隐私保护技术融合多方时空大数据,共建“密态时空大模型”,进行行内农户贷款风险评估,进一步提升种植户金融放款效率和满意度。
持续技术创新,摩斯仍在加速!
欢迎与行业伙伴进行业务共创、产业落地合作!
关注我,获取更多资讯~

相关推荐
适合高校科研人员发布成果、寻找承接企业的靠谱技术转移平台有哪些?.docx
科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。
省级技术转移服务机构平台在支撑区域科技大脑建设方面能提供哪些数据服务?.docx
科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。
YOLO26算法城市道路交通标志目标检测+训练好的模型+8089张数据集+pyqt可视化界面-sts
文末有数据集可视化效果,供参考。YOLO26算法城市道路交通标志目标检测+训练好的模型+8089张数据集+pyqt可视化界面本资源由 sts 账号整理发布,标注齐全,开箱可训。
大模型和数据要素赋能采购行业数字化转型建设和实施方案.pptx
大模型和数据要素赋能采购行业数字化转型建设和实施方案.pptx
无刷直流电机BLDC转速电流双闭环+无位置传感器控制仿真【仿真+详解说明报告+参考文献】
无刷直流电机BLDC转速电流双闭环+无位置传感器控制仿真【仿真+详解说明报告+参考文献】内容概要:本文围绕三电平VIENNA整流器的双闭环控制与中点电位平衡问题展开研究,提出了一种基于上下电容电压差值补偿的中点电位平衡策略。该策略在传统电压外环与电流内环构成的双闭环PI控制基础上,引入电容电压差值作为反馈信号,结合SVPWM调制技术,利用冗余小矢量的时间分配调节中点电流,从而实现对中点电位的主动控制。仿真结果表明,所提方法在800 V直流母线电压下能有效抑制中点电位漂移,使上下电容电压高度均衡,且系统具备良好的动态响应能力和较低的输入电流THD,验证了控制方案的有效性与可行性。; 适合人群:从事电力电子与电力传动、新能源变换器、电能质量控制等相关领域的研究生、科研人员及工程技术人员。; 使用场景及目标:①掌握三电平VIENNA整流器的工作原理与中点电位波动成因;②学习双闭环PI控制的设计与参数整定方法;③理解基于SVPWM的中点电位平衡机制与实现路径;④为高效率、低谐波、高稳定性的AC-DC变换器设计提供理论依据与仿真参考。; 阅读建议:建议结合文中提供的MATLAB/Simulink仿真模型,深入理解控制框图与SVPWM模块的实现细节,重点关注差值补偿环与主控制环的耦合关系,并尝试在不同负载与动态工况下测试系统的鲁棒性,以加深对中点平衡边界与调节能力的认识。


