保护大模型隐私安全,摩斯获NeurIPS顶会“2024大模型隐私挑战赛赛道冠军”
开篇
近日,第三十八届神经信息处理系统年会(NeurIPS 2024)特设官方赛——大语言模型隐私挑战赛(LLM-PC)落幕。摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍,荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全,有助于推动整个领域向构建更加安全、可靠的AI系统目标前进,冠军方案也代表着当前业界领先技术。


赛事信息
NeurIPS是机器学习领域三大顶级国际会议之一,也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始,由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织,吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案,从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。

赛题方案介绍
在攻击赛道中,我们通过查询目标模型来构建提示语,促使其为每个掩盖的个人可识别信息(PII)生成候选回应,并计算其损失值,再用自我提示候选提取和基于损失的贪心搜索,选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法,以加速候选项的选择过程。我们的方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率
在防御赛道中,我们利用数据脱敏与合成技术,对包含PII的语料进行随机替换,之后以自回归的方式微调目标模型,可以扰乱大模型对PII信息的记忆,降低其输出正确PII的可能,防止隐私数据泄漏。该方案使主办方提供的攻击方法成功率相对降低30.6%,同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。
产业应用
解决数据和模型的隐私安全问题,是大模型在产业界尤其是金融行业落地的重要课题。结合比赛同款方案,摩斯研发了大模型隐私保护产品,该产品融合数据脱敏、拆分学习、模型混淆、差分隐私、TEE等多种技术路线,实现大模型落地应用中的模型微调、推理全链路数据和模型隐私保护。
在行业应用方面,摩斯大模型隐私保护产品已在银行、证券等多个行业落地推进中。目前已应用在网商银行农业助贷场景,利用摩斯的大模型隐私保护技术融合多方时空大数据,共建“密态时空大模型”,进行行内农户贷款风险评估,进一步提升种植户金融放款效率和满意度。
持续技术创新,摩斯仍在加速!
欢迎与行业伙伴进行业务共创、产业落地合作!
关注我,获取更多资讯~

相关推荐
A Survey of LLM Negotiation and Bargaining Agents |LLM谈判与议价智能体综述 |arxivreview
# A Survey of LLM Negotiation and Bargaining Agents |LLM谈判与议价智能体综述 |arxivreview 综述原文见 [ArxivReview](https://www.arxivreview.com/surveys/LLM%20Negotiation%20and%20Bargaining%20Agents) ## 导读 大语言模型(LLM)谈判智能体正经历从语言模拟向经济理性的范式跃迁,其核心矛盾在于人类对齐训练带来的亲社会偏见与博弈论要求的最优策略之间的冲突。早期研究聚焦于自然语言生成的流畅性,但NegotiationArena等基准迅速揭示了模型在策略推理上的系统性缺陷,如锚定偏差与过度合作。为修正这些非理性行为,研究重心转向可验证奖励强化学习(RLVR),利用客观经济信号替代主观人类偏好,显著提升了剩余提取能力。与此同时,情感策略蒸馏与机制可解释性分析作为互补路线,分别解决了边缘部署中的能力缺失与偏差的神经基础问题。各路线在策略理性、部署效率与可解释性之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从行为优化到机制理解的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。 ## 1. 研究背景、问题结构与演进脉络 LLM谈判与议价智能体领域的兴起,源于大语言模型从静态文本生成向自主智能体(Autonomous Agents)的范式转变。早期研究如Lewis et al. (2017)提出的DealOrNoDeal和He et al. (2018)的CraigslistBargain,局限于基于规则或简单神经网络的文本谈判协议,缺乏对复杂策略推理和自然语言说服力的建模。这些工作确立了基于对话历史的策略生成与语言生成分离的早期架构,但仅
typora编辑器 markdown Mac版本
typora编辑器 markdown Mac版本
数据挖掘实战项目-从零实现决策树、朴素贝叶斯、KMeans与PCA,含清洗特征评估全流水线,33个源文件8457行
内容概要:190 页项目教程 + 一套从零实现的数据挖掘算法库与流水线,按源文件交付 33 个模块:数据集读取与 schema 校验、清洗(缺失填充、去重、IQR/Z-score 异常值、类别编码)、特征工程(标准化、分箱、多项式、方差/相关/卡方选择)、切分与分层 K 折交叉验证、CART 决策树(基尼、连续特征二分、剪枝)、朴素贝叶斯(高斯/多项式 + 拉普拉斯平滑)、KNN、线性回归(正规方程与梯度下降双实现、残差分析)、逻辑回归(交叉熵 + L2 + 梯度校验)、KMeans(k-means++ 与轮廓系数)、PCA(特征值分解与解释方差)、指标(混淆矩阵、P/R/F1、手算 ROC-AUC)、流水线(先切分后 fit,防数据泄漏)、报告与 CLI。 适合人群:要做数据挖掘课设或毕设的同学;只会调库、被问「决策树怎么分裂」答不上来的开发者;想把算法写成可跑代码而不是背公式的人。 使用场景及目标:照着教程手写每个算法,跑通三个可复现数据集,最后用一条命令跑完整流水线并输出指标报告;每个算法都配边界用例(空集、单样本、全同类、常数列、NaN),结论能被复算。 其他说明:33 个源文件 8,457 行,主机侧用例全部通过(本机 make test 实跑,只用标准库 + numpy,不依赖任何机器学习框架)。代码完整,无省略、无伪代码,数值下溢保护与参数校验全部保留。
【计算机体系结构】基于PCI系列总线的技术演进分析:从并行架构到高速串行互连的设计原理与应用
内容概要:本文介绍了PCI(外设组件互连)技术的发展历程及其核心架构,涵盖从传统的PCI、PCI-X到现代的PCI Express(PCIe)的技术演进。重点讲解了各代技术的革命性与继承性特点,包括带宽提升、协议优化、电气特性改进以及软件兼容性。深入探讨了PCI的地址空间(内存、I/O和配置空间)、中断机制(INTx、MSI/MSI-X)、配置空间结构(包括能力列表和扩展能力列表),并详细解析了PCI-X的分拆
蓝桥杯python中级真题-熊怪吃核桃(题目与思路)
蓝桥杯python中级真题-熊怪吃核桃(题目与思路)


