保护大模型隐私安全，摩斯获NeurIPS顶会“2024大模型隐私挑战赛赛道冠军”

2024-12-06 14:02:41 743 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

映泰TB250-BTC主板魔改BIOS支持8/9代CPU实战与开机故障排查 BIOS（基本输入输出系统）是计算机硬件与操作系统之间的桥梁，负责初始化硬件和提供运行时服务。其工作原理是通过存储在主板芯片中的固件程序，在上电自检（POST）阶段完成对CPU、内存等关键组件的检测与配置。魔改BIOS的技术价值在于突破硬件限制，通过修改微码和电源管理模块，让旧平台支持新处理器，从而以极低成本实现性能跃升，在预算有限或追求极致性价比的DIY、办公和软路由等应用场景中极具吸引力。本文以映泰TB250-BTC矿板为例，详细解析了通过软刷方式刷入魔改BIOS，并重点解决了刷写后常见的“开机风扇转一阅读详情

开篇

近日，第三十八届神经信息处理系统年会（NeurIPS 2024）特设官方赛——大语言模型隐私挑战赛（LLM-PC）落幕。摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍，荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全，有助于推动整个领域向构建更加安全、可靠的AI系统目标前进，冠军方案也代表着当前业界领先技术。

赛事信息

NeurIPS是机器学习领域三大顶级国际会议之一，也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始，由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织，吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案，从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。

赛题方案介绍

在攻击赛道中，我们通过查询目标模型来构建提示语，促使其为每个掩盖的个人可识别信息（PII）生成候选回应，并计算其损失值，再用自我提示候选提取和基于损失的贪心搜索，选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法，以加速候选项的选择过程。我们的方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率

在防御赛道中，我们利用数据脱敏与合成技术，对包含PII的语料进行随机替换，之后以自回归的方式微调目标模型，可以扰乱大模型对PII信息的记忆，降低其输出正确PII的可能，防止隐私数据泄漏。该方案使主办方提供的攻击方法成功率相对降低30.6%，同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。