保护大模型隐私安全，摩斯获NeurIPS顶会“2024大模型隐私挑战赛赛道冠军”

2024-12-06 13:42:24 570 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

AI智能体安全沙箱agentguard：为LLM代码执行筑起防火墙在AI应用开发领域，大语言模型（LLM）驱动的智能体（Agent）能够自动生成并执行代码，极大地提升了自动化能力。然而，赋予AI直接执行系统命令的权限也带来了显著的安全风险，如恶意代码注入、敏感数据泄露和系统资源滥用。为了解决这一核心矛盾，安全沙箱技术应运而生，它通过在不可信代码与宿主系统之间建立隔离层，实现"默认拒绝、最小权限"的安全原则。agentguard项目正是这一理念的工程实践，它结合白名单机制与容器化隔离，为AI智能体提供了可配置、可审计的安全执行环境。该方案不仅适用于内部自动化工具开发，也为构阅读详情

开篇

近日，第三十八届神经信息处理系统年会（NeurIPS 2024）特设官方赛——大语言模型隐私挑战赛（LLM-PC）落幕。摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍，荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全，有助于推动整个领域向构建更加安全、可靠的AI系统目标前进，冠军方案也代表着当前业界领先技术。

赛事信息

NeurIPS是机器学习领域三大顶级国际会议之一，也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始，由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织，吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案，从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。

赛题方案介绍

在攻击赛道中，我们通过查询目标模型来构建提示语，促使其为每个掩盖的个人可识别信息（PII）生成候选回应，并计算其损失值，再用自我提示候选提取和基于损失的贪心搜索，选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法，以加速候选项的选择过程。我们的方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率

在防御赛道中，我们利用数据脱敏与合成技术，对包含PII的语料进行随机替换，之后以自回归的方式微调目标模型，可以扰乱大模型对PII信息的记忆，降低其输出正确PII的可能，防止隐私数据泄漏。该方案使主办方提供的攻击方法成功率相对降低30.6%，同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。