Winter(带你学AI)
保护大模型隐私安全，摩斯获NeurIPS顶会“2024大模型隐私挑战赛赛道冠军”
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区开篇
近日，第三十八届神经信息处理系统年会（NeurIPS 2024）特设官方赛——大语言模型隐私挑战赛（LLM-PC）落幕。摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍，荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全，有助于推动整个领域向构建更加安全、可靠的AI系统目标前进，冠军方案也代表着当前业界领先技术。
赛事信息
NeurIPS是机器学习领域三大顶级国际会议之一，也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始，由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织，吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案，从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。
赛题方案介绍
在攻击赛道中，我们通过查询目标模型来构建提示语，促使其为每个掩盖的个人可识别信息（PII）生成候选回应，并计算其损失值，再用自我提示候选提取和基于损失的贪心搜索，选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法，以加速候选项的选择过程。我们的方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率
在防御赛道中，我们利用数据脱敏与合成技术，对包含PII的语料进行随机替换，之后以自回归的方式微调目标模型，可以扰乱大模型对PII信息的记忆，降低其输出正确PII的可能，防止隐私数据泄漏。该方案使主办方提供的攻击方法成功率相对降低30.6%，同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。
产业应用
解决数据和模型的隐私安全问题，是大模型在产业界尤其是金融行业落地的重要课题。结合比赛同款方案，摩斯研发了大模型隐私保护产品，该产品融合数据脱敏、拆分学习、模型混淆、差分隐私、TEE等多种技术路线，实现大模型落地应用中的模型微调、推理全链路数据和模型隐私保护。
在行业应用方面，摩斯大模型隐私保护产品已在银行、证券等多个行业落地推进中。目前已应用在网商银行农业助贷场景，利用摩斯的大模型隐私保护技术融合多方时空大数据，共建“密态时空大模型”，进行行内农户贷款风险评估，进一步提升种植户金融放款效率和满意度。
持续技术创新，摩斯仍在加速！
欢迎与行业伙伴进行业务共创、产业落地合作！
关注我，获取更多资讯~
相关推荐
Python 批量处理大量压缩包｜递归嵌套解压 zip rar 7z tar，文件名乱码修复，扫描残留压缩包工具
在收集大量计算机源码时，经常遇到海量多层嵌套压缩包：zip、rar、7z、tar、tar‑gz 混杂，老压缩包中文文件名 GBK 编码解压出现乱码，解压完成后不确定目录内是否还有遗留未解压的压缩包。 本工具集由 3 份 Python 脚本组成，专门针对大批量源码文件夹做自动化预处理，不用手动一个个解压，自动递归遍历所有子目录，处理嵌套压缩包，修复中文文件名乱码，扫描校验残留压缩包，输出完整处理日志。 前置条件 - Python3.8 及以上环境 - 如果要处理 rar/7z 格式：电脑安装 **7‑Zip**，记录 7z.exe 的完整路径，填到 `jieyarar.py` 配置区。 1. 修改每个脚本顶部配置区：`SCAN_ROOT / TARGET_FOLDER` 修改为你存放文件的根目录绝对路径（Windows 路径字符串前面加 r，例如 `r"F:\files\download"`） 2. 第一步：运行 `main.py`，优先处理全部 zip 压缩包，执行完成查看生成的 `unzip_log.txt` 日志； 3. 第二步：运行 `jieyarar.py`，处理 rar、7z、tar 等其它格式压缩包，查看 `unpack_all_archive_log.txt`； 4. 第三步：运行 `checkfiel.py`，全盘扫描校验，输出 `scan_archive_and_badname.txt`； - 查看报告：确认是否还有残留压缩包、是否存在乱码文件名； 5. 根据日志，手动单独处理加密、损坏的压缩包。
daily-stock-analysis(Python)
「daily_stock_analysis(Python)」是后台管理系统（Python）。项目简介：LLM 驱动的多市场股票智能分析系统：多源行情、实时新闻、决策看板与自动推送，支持零成本定时运行。 LLM-powered multi-market stock analysis system with multi-source market data, real-time news, decision dashboard, automated notifications, and cost-free scheduled runs.源码完整，下载解压即可查看使用，适合学习参考、课程设计与二次开发。
工具调用智能体可靠性基准数据集验证门重试
面向工具调用型AI智能体可靠性研究的合成基准数据集，研究预执行验证门与有限重试机制如何改变智能体任务完成率、无效动作率与调用成本。包含120张合成工单、1440个模拟回合（4种策略×3种工具故障率）与本地大语言模型试点实验（qwen2.5:3b）。实验结果显示：10%工具故障率下基线策略完成率仅30.0%，验证门加重试组合达97.5%；大模型试点中无防护时8张工单完成5张，加防护后8张全部完成。附结果明细、策略汇总、实验元数据与README共8个文件。适用于智能体工程、工具调用可靠性评估、防护机制设计与大模型应用研究。数据许可：CC0公共领域。
国央企在推动内部技术转化时，如何实现技术需求的精准挖掘与匹配？.docx
科易网基于AI模型+行业大数据，在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景，推出科技创新领域的AI+工具与数智化解决方案，推动科技创新与产业创新智能化发展。
科技中介服务机构在对接企业与高校科研成果时，如何快速挖掘企业的隐性技术需求？.docx
科易网基于AI模型+行业大数据，在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景，推出科技创新领域的AI+工具与数智化解决方案，推动科技创新与产业创新智能化发展。
