Java
保护大模型隐私安全，摩斯获NeurIPS顶会“2024大模型隐私挑战赛赛道冠军”
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区开篇
近日，第三十八届神经信息处理系统年会（NeurIPS 2024）特设官方赛——大语言模型隐私挑战赛（LLM-PC）落幕。摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍，荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全，有助于推动整个领域向构建更加安全、可靠的AI系统目标前进，冠军方案也代表着当前业界领先技术。
赛事信息
NeurIPS是机器学习领域三大顶级国际会议之一，也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始，由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织，吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案，从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。
赛题方案介绍
在攻击赛道中，我们通过查询目标模型来构建提示语，促使其为每个掩盖的个人可识别信息（PII）生成候选回应，并计算其损失值，再用自我提示候选提取和基于损失的贪心搜索，选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法，以加速候选项的选择过程。我们的方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率
在防御赛道中，我们利用数据脱敏与合成技术，对包含PII的语料进行随机替换，之后以自回归的方式微调目标模型，可以扰乱大模型对PII信息的记忆，降低其输出正确PII的可能，防止隐私数据泄漏。该方案使主办方提供的攻击方法成功率相对降低30.6%，同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。
产业应用
解决数据和模型的隐私安全问题，是大模型在产业界尤其是金融行业落地的重要课题。结合比赛同款方案，摩斯研发了大模型隐私保护产品，该产品融合数据脱敏、拆分学习、模型混淆、差分隐私、TEE等多种技术路线，实现大模型落地应用中的模型微调、推理全链路数据和模型隐私保护。
在行业应用方面，摩斯大模型隐私保护产品已在银行、证券等多个行业落地推进中。目前已应用在网商银行农业助贷场景，利用摩斯的大模型隐私保护技术融合多方时空大数据，共建“密态时空大模型”，进行行内农户贷款风险评估，进一步提升种植户金融放款效率和满意度。
持续技术创新，摩斯仍在加速！
欢迎与行业伙伴进行业务共创、产业落地合作！
关注我，获取更多资讯~
相关推荐
CISP-CSE注册云安全工程师备考资源包基础教程
随着云计算技术的普及，云安全已成为网络安全领域的核心议题。CISP-CSE（注册云安全工程师）认证由中国信息安全测评中心颁发，旨在培养具备云安全专业知识和实践能力的实战型人才。本教程将结合"CISP-CSE注册云安全工程师备考资源包"，系统性地为您梳理云安全的核心知识体系，并提供实战案例分析，助您高效备考。
绘图模拟：在冲动环境中固定时间的示例 附matlab代码.rar
绘图模拟：在冲动环境中固定时间的示例 附matlab代码.rar
基于规则的电动汽车混合能源管理系统，采用MATLAB、Simulink、Simscape Electrical和Stateflow。.zip
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
完全复现虚拟同步发电机VSG自适应惯量阻尼控制仿真、根轨迹、调节系数对比（Simulink仿真、Matlab代码实现）
内容概要：本文围绕虚拟同步发电机（VSG）的自适应惯量阻尼控制展开深入研究，通过Simulink搭建详细的系统仿真模型，并结合Matlab代码实现控制算法，系统分析了根轨迹特性及不同调节系数对系统动态响应的影响。研究重点在于设计并验证一种能够根据电网频率变化自动调整惯量和阻尼参数的自适应控制策略，有效提升了VSG在面对负载突变或新能源波动时的频率稳定性与抗干扰能力，为高比例可再生能源接入下的电力系统稳定运行提供了关键技术支撑。; 适合人群：具备电力系统分析、自动控制理论及新能源并网技术基础的研究生、科研人员以及从事微电网、分布式能源系统设计与运维的工程技术人员。; 使用场景及目标：①深入理解虚拟同步发电机的工作原理及其在提升电网惯性方面的关键作用；②掌握基于Simulink的电力电子与控制系统建模与仿真方法；③学习并实践惯量和阻尼自适应控制策略的设计流程，通过根轨迹分析手段优化控制器参数，提升系统动态性能。; 阅读建议：建议读者结合所提供的Simulink仿真模型与Matlab代码进行同步操作，重点关注控制器设计逻辑与参数整定过程，通过改变调节系数观察系统响应变化，深化对稳定性判据与控制性能之间关系的理解。
【雷达信号处理】数字下变频(DDC)（Matlab代码实现）
【雷达信号处理】数字下变频(DDC)（Matlab代码实现）内容概要：本文主要介绍了数字下变频（DDC）技术在雷达信号处理中的应用，并提供了基于Matlab的代码实现。DDC作为现代雷达系统中的关键环节，主要用于将高频接收信号转换为便于后续处理的低频或基带信号，从而提高信号处理效率与精度。文中详细阐述了DDC的基本原理，包括混频、低通滤波和抽取等步骤，并通过Matlab代码展示了其实现过程，帮助读者理解如何在实际工程中构建和调试DDC模块。此外，文档还提及该资源属于一个涵盖多个科研方向的技术资料集合，如路径规划、电力系统优化、机器学习、通信系统仿真等，强调借助成熟工具与方法可提升科研效率。 适合人群：具备一定信号处理基础知识和Matlab编程能力的研究生、科研人员及工程技术人员，尤其适用于从事雷达系统设计、通信工程或相关领域研究的人员。 使用场景及目标：① 学习和掌握数字下变频（DDC）在雷达信号处理中的基本原理与实现方法；② 利用Matlab进行算法仿真与验证，辅助完成课程设计、毕业课题或科研项目中的信号处理部分；③ 借助提供的代码框架拓展至其他通信或雷达系统仿真任务中。 阅读建议：此资源以Matlab代码为核心载体，注重理论与实践结合，建议读者在学习过程中同步运行代码并调整参数，观察不同设置对下变频结果的影响，加深对混频泄漏、滤波器设计和采样率变化等问题的理解，从而真正掌握DDC的关键技术细节。
