摩斯大模型方向论文成功进入AAAI顶会前4.6%

蚂蚁摩斯隐私计算论坛 2025-04-02 11:42:17

继摩斯大模型跨域微调方向论文被顶级会议AAAI录取后,在被顶会录取的13000个投稿中,成功进入前4.6%,获得2025AAAI oral presentation资格。来自摩斯的代表,于近日在费城完成演讲。

 

image.png

摩斯的代表分析了当前离线调优方法所存在的问题,现场介绍了跨域微调大模型隐私保护训练方法,和摩斯基于此背景提出的ScaleOT框架。

这种新的大模型跨域微调算法,设计了重要性感知的动态层替换模型压缩方法,有效攻克了在仿真器生成时计算复杂度高、模型隐私安全性不足等难题,为大模型隐私微调方向提供了新颖的思路与解决方案。ScaleOT框架是一种新颖的隐私效用可扩展离线调优框架,能够有效平衡隐私性和效用性,实现生产级可用。

 

9cbd68e21fd50a955642d003589dd75f.jpg

 论文地址:https://arxiv.org/pdf/2412.09812

 

这一全新的大模型隐私微调算法,已在摩斯大模型隐私安全产品上线,产品融合了数据脱敏、拆分学习、模型混淆、差分隐私、TEE等多种技术路线,实现大模型落地应用中的模型微调、推理全链路数据和模型隐私安全保护。

同时,摩斯还提供大模型算力和行业大模型服务;支持TEE GPU云服务和一体机方案;支持开源通用大模型,支持deepseek满血版,以及法律大模型、金融大模型、营销大模型等行业大模型在线加密调用。

欢迎各行业生态伙伴进行合作咨询!!

关注我,获取更多资讯~

...全文
8 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

73,747

社区成员

发帖
与我相关
我的任务
社区描述
本博客将不定期更新关于机器学习、强化学习、数据挖掘以及NLP等领域相关知识,以及分享自己学习到的知识技能,感谢大家关注!
人工智能自然语言处理机器学习 个人社区 浙江省·杭州市
社区管理员
  • 汀、人工智能
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

 

本人最近打算整合ML、DRL、NLP等相关领域的体系化项目课程,方便入门同学快速掌握相关知识。声明:部分项目为网络经典项目方便大家快速学习,后续会不断增添实战环节(比赛、论文、现实应用等)。

  • 对于机器学习这块规划为:基础入门机器学习算法--->简单项目实战--->数据建模比赛----->相关现实中应用场景问题解决。一条路线帮助大家学习,快速实战。
  • 对于深度强化学习这块规划为:基础单智能算法教学(gym环境为主)---->主流多智能算法教学(gym环境为主)---->单智能多智能题实战(论文复现偏业务如:无人机优化调度、电力资源调度等项目应用)
  • 自然语言处理相关规划:除了单点算法技术外,主要围绕知识图谱构建进行:信息抽取相关技术(含智能标注)--->知识融合---->知识推理---->图谱应用

上述对于你掌握后的期许:

  1. 对于ML,希望你后续可以乱杀数学建模相关比赛(参加就获奖保底,top还是难的需要钻研)
  2. 可以实际解决现实中一些优化调度问题,而非停留在gym环境下的一些游戏demo玩玩。(更深层次可能需要自己钻研了,难度还是很大的)
  3. 掌握可知识图谱全流程构建其中各个重要环节算法,包含图数据库相关知识。

这三块领域耦合情况比较大,后续会通过比如:搜索推荐系统整个项目进行耦合,各项算法都会耦合在其中。举例:知识图谱就会用到(图算法、NLP、ML相关算法),搜索推荐系统(除了该领域召回粗排精排重排混排等算法外,还有强化学习、知识图谱等耦合在其中)。饼画的有点大,后面慢慢实现。

 

个人主页:https://blog.csdn.net/sinat_39620217?type=blog

试试用AI创作助手写篇文章吧