保护大模型隐私安全，摩斯获NeurIPS顶会“2024大模型隐私挑战赛赛道冠军”

蚂蚁摩斯隐私计算论坛 2024-11-29 10:20:01

开篇

近日，第三十八届神经信息处理系统年会（NeurIPS 2024）特设官方赛——大语言模型隐私挑战赛（LLM-PC）落幕。摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍，荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全，有助于推动整个领域向构建更加安全、可靠的AI系统目标前进，冠军方案也代表着当前业界领先技术。

赛事信息

NeurIPS是机器学习领域三大顶级国际会议之一，也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始，由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织，吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案，从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。

赛题方案介绍

在攻击赛道中，我们通过查询目标模型来构建提示语，促使其为每个掩盖的个人可识别信息（PII）生成候选回应，并计算其损失值，再用自我提示候选提取和基于损失的贪心搜索，选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法，以加速候选项的选择过程。我们的方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率

在防御赛道中，我们利用数据脱敏与合成技术，对包含PII的语料进行随机替换，之后以自回归的方式微调目标模型，可以扰乱大模型对PII信息的记忆，降低其输出正确PII的可能，防止隐私数据泄漏。该方案使主办方提供的攻击方法成功率相对降低30.6%，同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。

产业应用

解决数据和模型的隐私安全问题，是大模型在产业界尤其是金融行业落地的重要课题。结合比赛同款方案，摩斯研发了大模型隐私保护产品，该产品融合数据脱敏、拆分学习、模型混淆、差分隐私、TEE等多种技术路线，实现大模型落地应用中的模型微调、推理全链路数据和模型隐私保护。

在行业应用方面，摩斯大模型隐私保护产品已在银行、证券等多个行业落地推进中。目前已应用在网商银行农业助贷场景，利用摩斯的大模型隐私保护技术融合多方时空大数据，共建“密态时空大模型”，进行行内农户贷款风险评估，进一步提升种植户金融放款效率和满意度。

持续技术创新，摩斯仍在加速！

欢迎与行业伙伴进行业务共创、产业落地合作！

关注我，获取更多资讯~

...全文

613 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

该数据集名为“6200印章数据集-圆椭方矩-红蓝灰”，包含6200多张印章图像，涵盖圆形、椭圆形、方形和矩形四种几何形状，并包含红色、蓝色和灰色三种颜色。其目标是服务于印章识别、印章文本识别以及印章OCR技术的研究与开发。由于形状和颜色种类丰富，该数据集有助于开发者训练出适应性更强的识别系统，以应对不同应用场景。这些印章图像均为真实印章的高清照片，能够为印章识别算法提供充足的视觉信息。不过，该数据集不包含预标注的地面真实（GT）标签，因此开发者在使用时可能需要进行一定的数据清洗和标注，才能满足模型训练要求。尽管增加了额外工作量，但其规模和多样性仍使其成为重要的研究资源。印章识别技术广泛应用于文档审核、版权验证、金融交易验证等领域。随着机器学习和深度学习不断发展，印章识别算法已从简单的模板匹配逐渐转向更复杂的图像处理和模式识别方法。这一进步需要大量高质量训练数据，而此类数据集正是满足这一需求的关键工具之一。考虑到印章识别在实际应用中会遇到磨损、变形以及复杂背景等问题，该数据集在设计时也兼顾了这些现实挑战。通过提供不同形状和颜色的印章图像，它有助于研究者开发出能够应对真实世界复杂情况的算法。同时，由于缺乏GT标签，研究者在训练模型前还需解决如何高效、准确地进行图像标注的问题，这既提高了研究难度，也带来了更贴近实际应用的挑战与机会。 “6200印章数据集-圆椭方矩-红蓝灰”是一个面向印章识别技术的综合性训练数据集。它的推出对推动印章识别技术发展具有重要意义。通过有效利用该数据集，开发者可以构建更强大、更准确的印章识别系统，进一步促进相关技术的落地应用。

科易网基于40亿+科创知识图谱数据库，深度探索AI技术在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景，研究科技创新领域的AI+数智化解决方案，推动科技创新与产业创新智能化发展。

智慧校园综合管理系统完整合并版 V5 工程

源码下载地址： https://pan.quark.cn/s/ae487cba003d 在计算机视觉与图像处理技术领域中，OpenCV作为一个被广泛采纳的开源框架，提供了大量的函数和工具，用于对图像进行操作和分析。本篇文章将深入阐释OpenCV在处理含有RGBA通道的图像时的应用，以及如何进行通道的分离与融合。让我们首先掌握RGBA图像的基本构成。RGB分别象征红色（Red）、绿色（Green）以及蓝色（Blue），这三种颜色的不同强度组合能够产生多样的色彩效果。而A则代表Alpha通道，它用来指示图像的透明程度或完全不透明性。在0至255的数值区间内，0值代表完全透明，255值则表示完全不透明。当处理PNG等支持透明特性的图像格式时，RGBA模型被频繁使用。在OpenCV软件中，我们可以借助`cv::Mat`结构体来储存和操作图像数据。对于RGBA图像，`cv::Mat`结构体的数据类型通常是`CV_8UC4`，这表明每个像素点由4个8位无符号整数（Uint8）构成，分别对应R、G、B和A四个通道。接下来，我们将讨论如何从RGBA图像中分离各个通道。在OpenCV中，`cv::split()`函数能够实现这一功能。该函数会构建一个新的`cv::Mat`数组，数组中的每个元素都是原图像的一个独立通道。例如： ```cpp cv::Mat rgbaImage; // 加载RGBA图像 cv::imread("image.png", cv::IMREAD_UNCHANGED); // 分离通道 std::vector channels; cv::split(rgbaImage, channels); cv::Mat redChannel = ...

代码转载自：https://pan.quark.cn/s/a4b39357ea24 在信息技术领域，"后处理"一般是指在计算机辅助设计（CAD）或计算机辅助制造（CAM）系统中，将设计图纸转化为机器设备操作指令的过程。在此情形下，"佳铁雕刻机后处理.rar"是一个压缩文件，其中存放了与佳铁雕刻机相关的后处理工具或配置数据。佳铁雕刻机是一种常见的数字控制机床，主要用于精细的雕刻和加工作业，比如电脑锣、精雕机或雕铣机等设备。雕刻机后处理包含的核心知识要点有： 1. **数字控制（NC）代码的编制**：当在CAD/CAM软件中完成工件设计后，需要将其转换为机床能够识别的数字控制指令。这一步骤即为后处理，它将三维设计转化为一系列的G代码和M代码，这些指令指导雕刻机的刀具如何移动。 2. **后处理器的个性化设置**：由于不同的雕刻机可能配备不同的控制系统和机械属性，因此需要专门设计的后处理器来适配这些特性。针对佳铁雕刻机的后处理器可能包含特定的参数调整，例如进给速率、切削深度、刀具路径优化等，以实现最佳的加工效果和效率。 3. **G代码与M代码的应用**：G代码是控制刀具运动的指令，例如G00表示快速移动，G01表示线性插补，G02和G03分别代表顺时针和逆时针的圆弧插补；M代码则是辅助操作指令，如M03代表主轴正转，M05代表主轴停转。这些指令的组合构成了完整的加工程序。 4. **机床参数设定**：后处理流程会考虑到机床的具体参数，包括电机类型、丝杠螺距、工作台尺寸等，以确保生成的NC代码与实际设备相符。 5. **刀具路径的优化**：高效的后处理能够改进刀具的运动轨迹，减少无效运行时间，提升生产效率，同时避免刀具与工件的碰撞以及工件形变，确保加工的精确度。...

13,871

社区成员

102,696

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章