保护大模型隐私安全,摩斯获NeurIPS顶会“2024大模型隐私挑战赛赛道冠军”

蚂蚁摩斯隐私计算论坛 蚂蚁摩斯隐私计算论坛 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区

开篇

近日,第三十八届神经信息处理系统年会(NeurIPS 2024)特设官方赛——大语言模型隐私挑战赛(LLM-PC)落幕。摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍,荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全,有助于推动整个领域向构建更加安全、可靠的AI系统目标前进,冠军方案也代表着当前业界领先技术。  

图片

图片

 

赛事信息

NeurIPS是机器学习领域三大顶级国际会议之一,也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始,由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织,吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案,从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。

图片

 

赛题方案介绍

在攻击赛道中,我们通过查询目标模型来构建提示语,促使其为每个掩盖的个人可识别信息(PII)生成候选回应,并计算其损失值,再用自我提示候选提取和基于损失的贪心搜索,选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法,以加速候选项的选择过程。我们的方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率

在防御赛道中,我们利用数据脱敏与合成技术,对包含PII的语料进行随机替换,之后以自回归的方式微调目标模型,可以扰乱大模型对PII信息的记忆,降低其输出正确PII的可能,防止隐私数据泄漏。该方案使主办方提供的攻击方法成功率相对降低30.6%,同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。

 

产业应用

解决数据和模型的隐私安全问题,是大模型在产业界尤其是金融行业落地的重要课题。结合比赛同款方案,摩斯研发了大模型隐私保护产品,该产品融合数据脱敏、拆分学习、模型混淆、差分隐私、TEE等多种技术路线,实现大模型落地应用中的模型微调、推理全链路数据和模型隐私保护。

在行业应用方面,摩斯大模型隐私保护产品已在银行、证券等多个行业落地推进中。目前已应用在网商银行农业助贷场景,利用摩斯的大模型隐私保护技术融合多方时空大数据,共建“密态时空大模型”,进行行内农户贷款风险评估,进一步提升种植户金融放款效率和满意度。

 

持续技术创新,摩斯仍在加速!

欢迎与行业伙伴进行业务共创、产业落地合作!

 

关注我,获取更多资讯~

...全文

相关推荐

国央企创新负责人如何在科技创新过程中实现资源的智能配置与高效协同.docx

国央企创新负责人如何在科技创新过程中实现资源的智能配置与高效协同

BIZKEEN

阀门与管道计算工具包(Excel 6 表:安全阀排量/Kv换算/管道压降/换热初算/壁厚校核)

【内容概要】 Excel 工程计算工具包,共 6 个工作表,全部带可查看公式,黄色格填参数、其余自动计算: 1. 安全阀排量:按 ISO 4126 / GB 12241 思路的气相泄放能力估算(临界流判断、最小泄放面积) 2. 阀门 Kv/Cv 换算:Kv 与 Cv 互转、体积流量估算 3. 管道压降:达西公式 + Swamee-Jain 摩阻系数,含沿程与局部阻力拆分 4. 换热初算:逆流 LMTD 法算所需传热面积,附建议裕量 5. 壁厚校核:内压筒体壁厚初算(GB/T 20801 思路),给名义壁厚建议 6. 报价参考表:常见工程服务的价格区间与交付周期 【适用人群】 阀门/泵/管道设计与选型人员、设备厂技术支持、工程公司投标人员、机械专业学生做课程设计。 【使用场景】 - 客户问"这个口径够不够""压降多少"时快速出数 - 投标前做方案初算,避免拍脑袋 - 教学演示:公式与数值一一对应,可核查 【说明】 本工具为工程估算用途,正式设计计算书仍需按标准完整校核(含背压、温度修正、材质与裕量)。文件为 xlsx,无需插件。

nanami_yao

Qt车载HMI界面还原实战包:4子页空调面板源码+像素对比脚本+221条交互验收,附测量口径与残差归因

本资源为车载 HMI 界面(1920×720 空调控制面板)的 Qt 完整实现与验收工具链,可直接编译运行,也可作为团队建立"可复核验收标准"的参照模板。 一、工程源码(src/ 约 1080 行) 1. pages.cpp:空调、除霜、强制模式、新风控制 4 个子页绘制,含双卡互斥抽象,便于扩展新页面; 2. acwindow.cpp:真实 QMouseEvent 点击路径,状态机与命中区判定; 3. ui.cpp:字体与绘制封装,含以墨顶为锚点的垂直压缩实现(可经环境变量关闭); 4. uitest.cpp:344 行交互验收断言,覆盖点击命中、状态互斥、配色切换与整帧回归。 5. main.cpp:提供 --shots 批量截图、--uitest 离屏验收、--probe 字体光栅化探测三种运行模式。 二、切图素材(assets/ 34 项) PNG 透明底切图,含选中/未选中两套图标,命名与控件一一对应,便于替换为自有设计资源。 三、验收与对比工具 compare.py 做多阈值像素对比,输出 any/gt8/gt16/mae/PSNR 五项指标;capture_window.ps1 抓真实窗口画面,用于校验离屏渲染路径。 四、随包文档与实测数据 逐条控件清单、对比报告(含四版收敛序列、压缩比例扫描 0.86~0.94、残余差异归因)、验收报告、221 条断言原始日志,以及原型与实现的并排图和差异热图。

GeekArch

加减放大电路multisim仿真

利用Multisim软件进行仿真验证反相求和电路输出与输入极性相反;同相求和电路输出与输入同相;加减电路则可实现多信号的综合运算 参考文章:https://blog.csdn.net/weixin_43348794/article/details/151766897?spm=1001.2014.3001.5502

粟米茶

飞塔防火墙固件 201f

飞塔防火墙固件 201f

weixin_53281870
评论
收藏 已收藏
分享
返回顶部