别团等shy哥发育
保护大模型隐私安全，摩斯获NeurIPS顶会“2024大模型隐私挑战赛赛道冠军”
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区开篇
近日，第三十八届神经信息处理系统年会（NeurIPS 2024）特设官方赛——大语言模型隐私挑战赛（LLM-PC）落幕。摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍，荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全，有助于推动整个领域向构建更加安全、可靠的AI系统目标前进，冠军方案也代表着当前业界领先技术。
赛事信息
NeurIPS是机器学习领域三大顶级国际会议之一，也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始，由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织，吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案，从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。
赛题方案介绍
在攻击赛道中，我们通过查询目标模型来构建提示语，促使其为每个掩盖的个人可识别信息（PII）生成候选回应，并计算其损失值，再用自我提示候选提取和基于损失的贪心搜索，选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法，以加速候选项的选择过程。我们的方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率
在防御赛道中，我们利用数据脱敏与合成技术，对包含PII的语料进行随机替换，之后以自回归的方式微调目标模型，可以扰乱大模型对PII信息的记忆，降低其输出正确PII的可能，防止隐私数据泄漏。该方案使主办方提供的攻击方法成功率相对降低30.6%，同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。
产业应用
解决数据和模型的隐私安全问题，是大模型在产业界尤其是金融行业落地的重要课题。结合比赛同款方案，摩斯研发了大模型隐私保护产品，该产品融合数据脱敏、拆分学习、模型混淆、差分隐私、TEE等多种技术路线，实现大模型落地应用中的模型微调、推理全链路数据和模型隐私保护。
在行业应用方面，摩斯大模型隐私保护产品已在银行、证券等多个行业落地推进中。目前已应用在网商银行农业助贷场景，利用摩斯的大模型隐私保护技术融合多方时空大数据，共建“密态时空大模型”，进行行内农户贷款风险评估，进一步提升种植户金融放款效率和满意度。
持续技术创新，摩斯仍在加速！
欢迎与行业伙伴进行业务共创、产业落地合作！
关注我，获取更多资讯~
相关推荐
政府科技管理者如何提升科技成果转化项目进场交易的备案效率？.docx
政府科技管理者如何提升科技成果转化项目进场交易的备案效率？
山区道路边坡落石隐患检测数据集VOC+YOLO格式241张1类别.md
【重要提示】本页面仅为资源介绍，不含外部下载地址 亲爱的 CSDN 用户： 感谢你浏览本资源页面，在这里提前向大家说明相关情况，避免后续产生误解。本资源我设置的初衷是 0 积分免费分享文档介绍，希望可以无偿给到有需要的朋友。但 CSDN 平台存在自动调控机制，系统会根据资源下载热度、文件体积、平台规则等因素，自动修改资源所需下载积分，页面显示为 1 积分、2 积分或更高积分都属于平台自动调整结果，并非我手动修改设置，我没有权限自主锁定积分数值。 如果你打开页面后，发现下载所需积分不为 0，请务必谨慎考虑是否下载。一旦你支付积分完成下载，后续遇到资源内容和描述不符、文件损坏等问题，我无法承担对应的积分损失，也没有渠道为你办理积分退还。在此强烈建议，只有页面明确显示 0 积分的时候，再进行下载操作。 同时特别说明：这份资源介绍文案里，没有附带任何外部下载地址。资源本身是通过 CSDN 官方上传通道上传的附件，正常情况下直接点击页面自带的下载按钮即可获取文件。页面找不到外部下载链接属于正常情况，并非资源缺失。 如果因为平台积分显示异常，导致你被扣取积分，积分退款、积分异常相关问题，请直接联系 CSDN 官方客服咨询处理。平台规则由官方制定，我无法干预积分变动，望各位理解。
高空作业栏杆检测数据集VOC+YOLO格式230张3类别.md
【重要提示】本页面仅为资源介绍，不含外部下载地址 亲爱的 CSDN 用户： 感谢你浏览本资源页面，在这里提前向大家说明相关情况，避免后续产生误解。本资源我设置的初衷是 0 积分免费分享文档介绍，希望可以无偿给到有需要的朋友。但 CSDN 平台存在自动调控机制，系统会根据资源下载热度、文件体积、平台规则等因素，自动修改资源所需下载积分，页面显示为 1 积分、2 积分或更高积分都属于平台自动调整结果，并非我手动修改设置，我没有权限自主锁定积分数值。 如果你打开页面后，发现下载所需积分不为 0，请务必谨慎考虑是否下载。一旦你支付积分完成下载，后续遇到资源内容和描述不符、文件损坏等问题，我无法承担对应的积分损失，也没有渠道为你办理积分退还。在此强烈建议，只有页面明确显示 0 积分的时候，再进行下载操作。 同时特别说明：这份资源介绍文案里，没有附带任何外部下载地址。资源本身是通过 CSDN 官方上传通道上传的附件，正常情况下直接点击页面自带的下载按钮即可获取文件。页面找不到外部下载链接属于正常情况，并非资源缺失。 如果因为平台积分显示异常，导致你被扣取积分，积分退款、积分异常相关问题，请直接联系 CSDN 官方客服咨询处理。平台规则由官方制定，我无法干预积分变动，望各位理解。
ti-cgt-c2000-22.6.0.LTS-windows-x64-installer
ti-cgt-c2000-22.6.0.LTS-windows-x64-installer
光伏板太阳能板尘土灰尘脏污检测数据集VOC+YOLO格式1006张3类别.md
【重要提示】本页面仅为资源介绍，不含外部下载地址 亲爱的 CSDN 用户： 感谢你浏览本资源页面，在这里提前向大家说明相关情况，避免后续产生误解。本资源我设置的初衷是 0 积分免费分享文档介绍，希望可以无偿给到有需要的朋友。但 CSDN 平台存在自动调控机制，系统会根据资源下载热度、文件体积、平台规则等因素，自动修改资源所需下载积分，页面显示为 1 积分、2 积分或更高积分都属于平台自动调整结果，并非我手动修改设置，我没有权限自主锁定积分数值。 如果你打开页面后，发现下载所需积分不为 0，请务必谨慎考虑是否下载。一旦你支付积分完成下载，后续遇到资源内容和描述不符、文件损坏等问题，我无法承担对应的积分损失，也没有渠道为你办理积分退还。在此强烈建议，只有页面明确显示 0 积分的时候，再进行下载操作。 同时特别说明：这份资源介绍文案里，没有附带任何外部下载地址。资源本身是通过 CSDN 官方上传通道上传的附件，正常情况下直接点击页面自带的下载按钮即可获取文件。页面找不到外部下载链接属于正常情况，并非资源缺失。 如果因为平台积分显示异常，导致你被扣取积分，积分退款、积分异常相关问题，请直接联系 CSDN 官方客服咨询处理。平台规则由官方制定，我无法干预积分变动，望各位理解。
