保护大模型隐私安全，摩斯获NeurIPS顶会“2024大模型隐私挑战赛赛道冠军”

2024-11-28 10:58:05 424 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

看不懂分子动力学模拟的结果？一文读懂RMSD曲线随后，将每一帧结构与初始模板进行叠合，计算对应原子的平均偏移量，即RMSD。总之，掌握 RMSD 的解读方法，就等于抓住了评估分子动力学模拟成败与质量的“总开关”。①在模拟初始阶段，RMSD会从0迅速上升，这是蛋白质从静态晶体或模型结构释放到溶液环境中并逐渐适应的正常过程。②经过一段时间后，曲线不再系统性上升或下降，而是围绕一个平均值，小幅度地上下波动，形成一个稳定的“平台”。这种情况下，RMSD 在初始快速上升后，并未进入平台，而是持续甚至加速上升，始终未见收敛。🔍 如何解读不同趋势的RMSD曲线。阅读详情

开篇

近日，第三十八届神经信息处理系统年会（NeurIPS 2024）特设官方赛——大语言模型隐私挑战赛（LLM-PC）落幕。摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍，荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全，有助于推动整个领域向构建更加安全、可靠的AI系统目标前进，冠军方案也代表着当前业界领先技术。

赛事信息

NeurIPS是机器学习领域三大顶级国际会议之一，也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始，由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织，吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案，从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。

赛题方案介绍

在攻击赛道中，我们通过查询目标模型来构建提示语，促使其为每个掩盖的个人可识别信息（PII）生成候选回应，并计算其损失值，再用自我提示候选提取和基于损失的贪心搜索，选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法，以加速候选项的选择过程。我们的方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率

在防御赛道中，我们利用数据脱敏与合成技术，对包含PII的语料进行随机替换，之后以自回归的方式微调目标模型，可以扰乱大模型对PII信息的记忆，降低其输出正确PII的可能，防止隐私数据泄漏。该方案使主办方提供的攻击方法成功率相对降低30.6%，同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。