Java后端开发
保护大模型隐私安全，摩斯获NeurIPS顶会“2024大模型隐私挑战赛赛道冠军”
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区开篇
近日，第三十八届神经信息处理系统年会（NeurIPS 2024）特设官方赛——大语言模型隐私挑战赛（LLM-PC）落幕。摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍，荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全，有助于推动整个领域向构建更加安全、可靠的AI系统目标前进，冠军方案也代表着当前业界领先技术。
赛事信息
NeurIPS是机器学习领域三大顶级国际会议之一，也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始，由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织，吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案，从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。
赛题方案介绍
在攻击赛道中，我们通过查询目标模型来构建提示语，促使其为每个掩盖的个人可识别信息（PII）生成候选回应，并计算其损失值，再用自我提示候选提取和基于损失的贪心搜索，选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法，以加速候选项的选择过程。我们的方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率
在防御赛道中，我们利用数据脱敏与合成技术，对包含PII的语料进行随机替换，之后以自回归的方式微调目标模型，可以扰乱大模型对PII信息的记忆，降低其输出正确PII的可能，防止隐私数据泄漏。该方案使主办方提供的攻击方法成功率相对降低30.6%，同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。
产业应用
解决数据和模型的隐私安全问题，是大模型在产业界尤其是金融行业落地的重要课题。结合比赛同款方案，摩斯研发了大模型隐私保护产品，该产品融合数据脱敏、拆分学习、模型混淆、差分隐私、TEE等多种技术路线，实现大模型落地应用中的模型微调、推理全链路数据和模型隐私保护。
在行业应用方面，摩斯大模型隐私保护产品已在银行、证券等多个行业落地推进中。目前已应用在网商银行农业助贷场景，利用摩斯的大模型隐私保护技术融合多方时空大数据，共建“密态时空大模型”，进行行内农户贷款风险评估，进一步提升种植户金融放款效率和满意度。
持续技术创新，摩斯仍在加速！
欢迎与行业伙伴进行业务共创、产业落地合作！
关注我，获取更多资讯~
相关推荐
基于能源枢纽耦合的电热气综合能源系统稳态能流分析方法（Matlab代码实现）
内容概要：本文提出了一种基于能源枢纽耦合的电热气综合能源系统稳态能流分析方法，并实现了基于虚拟流与二阶锥松弛的含分布式电源配电网多时段故障恢复模型（Matlab代码实现）。该方法针对配电网在发生多线路故障时的恢复问题，构建了一个统一考虑网络重构、孤岛划分与检修进度的多时段优化模型，旨在最小化网损和甩负荷惩罚。通过引入虚拟流思想保证孤岛内部连通性，结合二阶锥松弛技术将非线性潮流方程转化为可高效求解的混合整数二阶锥规划问题，提升了模型的可解性与计算效率。在IEEE 33节点系统上的仿真验证展示了各时段的网络拓扑变化、节点电压分布及负荷恢复情况，证明了该方法在提升系统韧性与恢复效率方面的有效性。文章还深入评述了建模细节，指出了在负荷分级、无功处理、辐射状约束等方面的改进方向，为后续研究提供了理论参考与实现基础。; 适合人群：具备电力系统、优化理论及Matlab/Simulink仿真基础，从事智能电网、综合能源系统或配电网故障恢复相关研究的研究生、科研人员及工程技术人员。; 使用场景及目标：① 学习和复现顶刊论文中关于含分布式电源配电网多时段故障恢复的先进建模方法；② 掌握利用虚拟流保证孤岛连通性、二阶锥松弛处理非线性潮流等关键技术；③ 为自身研究中的配电网重构、孤岛划分或综合能源系统优化等问题提供模型参考和代码基础。; 阅读建议：此资源以复现高水平学术论文为核心，不仅提供了可运行的代码，更包含了详尽的建模思路解析与改进讨论。学习者应结合摘要、正文和参考文献，深入理解模型的物理意义与数学推导，重点关注虚拟流、大常数松弛和二阶锥松弛的应用，并尝试在提供的代码基础上进行扩展和优化，以深化对综合能源系统分析方法的理解。
无刷直流电机BLDC转速电流双闭环+无位置传感器控制仿真【仿真+详解说明报告+参考文献】
内容概要：本文提供了一套关于无刷直流电机（BLDC）转速电流双闭环控制与无位置传感器控制的Simulink仿真资源，包含多个仿真模型，如基于模糊PID与传统PID的对比控制、滑模观测器结合双闭环PI控制等。资源重点实现了无位置传感器控制策略，通过转速和电流双闭环调节提升电机控制性能，涵盖控制算法设计、仿真模型搭建全过程，并配有详细的说明文档与参考文献，帮助用户深入理解控制原理与实现方法。; 适合人群：具备一定电机控制理论基础和Simulink仿真经验的电气工程、自动化及相关专业的研究生、科研人员及工程技术人员。; 使用场景及目标：①学习和掌握无刷直流电机的双闭环控制策略及无位置传感器控制技术；②对比分析模糊PID与传统PID在电机控制中的动态响应、抗干扰能力与控制精度；③开展先进控制算法（如滑模观测器、模糊控制）的研究与仿真验证，支持科研项目、毕业设计或工程应用开发。; 阅读建议：建议读者结合所提供的说明文档和参考文献，循序渐进地运行和调试各个仿真模型，重点关注控制器参数整定、观测器设计、系统启动特性与动态响应过程，以深化对现代电机控制理论的理解与工程实践能力。
产业园区运营负责人如何实现创新能力资源的精准匹配与高效对接？.docx
科易网基于AI模型+行业大数据，在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景，推出科技创新领域的AI+工具与数智化解决方案，推动科技创新与产业创新智能化发展。
政府科技管理者在推动科技成果落地过程中，如何高效追踪企业技术需求并精准对接？.docx
科易网基于AI模型+行业大数据，在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景，推出科技创新领域的AI+工具与数智化解决方案，推动科技创新与产业创新智能化发展。
科技中介服务机构在推动技术交易时，如何实现高效撮合与专业服务？.docx
科易网基于AI模型+行业大数据，在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景，推出科技创新领域的AI+工具与数智化解决方案，推动科技创新与产业创新智能化发展。
