保护大模型隐私安全,摩斯获NeurIPS顶会“2024大模型隐私挑战赛赛道冠军”

蚂蚁摩斯隐私计算论坛 蚂蚁摩斯隐私计算论坛 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区

开篇

近日,第三十八届神经信息处理系统年会(NeurIPS 2024)特设官方赛——大语言模型隐私挑战赛(LLM-PC)落幕。摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍,荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全,有助于推动整个领域向构建更加安全、可靠的AI系统目标前进,冠军方案也代表着当前业界领先技术。  

图片

图片

 

赛事信息

NeurIPS是机器学习领域三大顶级国际会议之一,也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始,由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织,吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案,从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。

图片

 

赛题方案介绍

在攻击赛道中,我们通过查询目标模型来构建提示语,促使其为每个掩盖的个人可识别信息(PII)生成候选回应,并计算其损失值,再用自我提示候选提取和基于损失的贪心搜索,选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法,以加速候选项的选择过程。我们的方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率

在防御赛道中,我们利用数据脱敏与合成技术,对包含PII的语料进行随机替换,之后以自回归的方式微调目标模型,可以扰乱大模型对PII信息的记忆,降低其输出正确PII的可能,防止隐私数据泄漏。该方案使主办方提供的攻击方法成功率相对降低30.6%,同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。

 

产业应用

解决数据和模型的隐私安全问题,是大模型在产业界尤其是金融行业落地的重要课题。结合比赛同款方案,摩斯研发了大模型隐私保护产品,该产品融合数据脱敏、拆分学习、模型混淆、差分隐私、TEE等多种技术路线,实现大模型落地应用中的模型微调、推理全链路数据和模型隐私保护。

在行业应用方面,摩斯大模型隐私保护产品已在银行、证券等多个行业落地推进中。目前已应用在网商银行农业助贷场景,利用摩斯的大模型隐私保护技术融合多方时空大数据,共建“密态时空大模型”,进行行内农户贷款风险评估,进一步提升种植户金融放款效率和满意度。

 

持续技术创新,摩斯仍在加速!

欢迎与行业伙伴进行业务共创、产业落地合作!

 

关注我,获取更多资讯~

...全文

相关推荐

可调高输入差分放大电路multisim仿真

通过Multisim仿真加入可调电阻Rg的改进电路,通过调整Rg可以灵活控制放大倍数,输出电压公式为uo=(1+Rf2/R3+2Rf2/Rg)(uI2-uI1)。通过仿真展示了不同Rg值对输出电压的影响,验证电路具有良好的可调性和高输入阻抗特性。 参考文章:https://blog.csdn.net/weixin_43348794/article/details/152171787?spm=1001.2014.3001.5502

粟米茶

科技部推动的技术要素市场化配置改革中,“溯源智推”模式的落地应用重点在哪里?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

BIZKEEN

产业园区运营负责人如何精准匹配优质科技成果?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

BIZKEEN

全球民主指数与政体变迁面板数据集1789起

基于V-Dem政党民主多样性项目整理的全球民主研究数据集,覆盖1789至2025年236年间198个国家与历史政治体的国家年度面板:39474行主表democracy_country_year.csv,每行一个国家一年的13项V-Dem民主指数(均为0至1标准化评分),并整合世界政体分类Regimes of the World、独立的选举民主词汇索引LIED,以及世界银行人口、人均GDP、区域与收入分组等关联字段。配套regime_changes.csv记录1185次政体类别更替事件,world_regime_summary.csv汇总全球与六大洲各年度各政体类型下的国家与人口分布。适用场景:民主化浪潮与回潮的长期时序分析、政体转型事件研究、民主指数与经济发展相关性建模、区域民主差异对比、政治制度教学演示等。可直接用pandas加载,无需清洗。数据采用CC BY-SA 4.0许可,注明V-Dem与作者来源后可自由使用与再分发,适合政治学研究者、国际关系学者、发展经济学研究者与数据新闻团队使用。

licy__

积分器电路(波形转换电路)multisim仿真

积分器通过反相放大结构实现输入信号的积分运算,输出与输入信号呈反相关系,并通过Multisim仿真验证了三种典型波形转换效果:方波转三角波、正弦波转余弦波、三角波转正弦波 参考文章:https://blog.csdn.net/weixin_43348794/article/details/152334455?spm=1001.2014.3001.5502

粟米茶
评论
收藏 已收藏
分享
返回顶部