国内大模型首次安全众测:281个漏洞揭示AI安全新挑战

故事没有后来 2025-12-14 15:14:51

2025年9月16日,国内首次大规模AI大模型安全众测结果正式发布,吸引了行业广泛关注。这次测试针对国内主流人工智能大模型产品进行了全面安全检测,揭示了当前AI系统面临的新型安全挑战。

一场规模空前的安全测试

本次实网众测由中央网信办网络安全协调局指导,国家计算机网络应急技术处理协调中心主办。测试范围覆盖了国内10家主要AI厂商的15款大模型及相关应用产品,包括单模态和多模态不同类型的大模型,具有较强的代表性。

活动历时数月,汇聚了559名网络安全专业人士,他们以“白帽子”身份对在线运行的AI大模型产品进行了实战化安全测试。这种实网测试方式能够更真实地反映大模型在实际运行环境中面临的安全风险。

漏洞分析:新型风险占比突出

测试累计发现各类安全漏洞281个,其中大模型特有漏洞达177个,占比超过六成。这一数据表明,传统安全防护措施已难以完全覆盖AI大模型面临的新型风险。

测试发现的主要漏洞类型包括:

  • 不当输出处理类漏洞:大模型生成内容未经充分验证即被下游系统使用,可能导致恶意内容执行
  • 信息泄露类漏洞:攻击者通过特定输入诱导模型输出敏感数据或内部信息
  • 提示注入类漏洞:攻击者通过精心构造的提示词影响模型行为,这被视为大模型最常见的安全风险
  • 无限制消耗类攻击防护不足:缺乏对资源过度消耗的有效防护
  • 传统安全漏洞:大模型系统仍存在部分传统软件安全问题

值得注意的是,提示注入类漏洞由于攻击门槛低、成功率高,成为大模型安全领域的“头号威胁”。这类漏洞往往成为实施其他攻击的“突破口”。

产品表现与行业启示

在参与测试的产品中,部分大模型展现了较高的安全防护水平。腾讯混元大模型、百度文心一言、阿里巴巴通义APP、智谱清言等产品发现的漏洞风险相对较少,体现了这些企业在AI安全方面的重视与投入。

本次测试也涌现出一批优秀的网络安全专业人员,他们从攻击者视角对大模型进行了多维度测试,为提升AI系统安全性做出了贡献。

测试结果给AI行业带来了重要启示:随着大模型应用场景的不断拓展,传统“外挂式”的被动防御模式已难以应对动态演化的安全风险。AI安全需要从系统设计之初就被纳入全生命周期考虑,建立“内生安全”机制。

构建安全可信的AI未来

针对测试发现的问题,专家建议采取多方面措施加强AI大模型安全防护:

首先,应对大模型输出持“零信任”态度,将其视为不可信输入并进行强制验证与适当编码处理。同时,需要实施严格的输入输出验证和过滤机制,遵循最小权限原则。

其次,应加快制定AI漏洞分类分级标准,建立按应用场景划分的风险等级体系。通过众测等模式汇聚社会专业力量,构建AI安全共治生态。

最终目标是建立“以人为本,智能向善”的人工智能发展环境,构建普惠、公平、安全、可信的AI生态系统。只有筑牢安全基石,人工智能技术才能健康可持续发展,真正造福社会。

随着AI技术深入各行各业,安全性将成为决定其应用范围和深度的重要因素。这次众测不仅是一次安全检测,更是AI行业发展的重要里程碑,标志着我国AI安全治理进入了系统化、实战化的新阶段。


相关链接:

  1. 国内首次AI大模型众测结果揭晓——2025年人工智能大模型产品漏洞众测结果发布-新华网
  2. 国家互联网应急中心
  3. 【2025年国家网络安全宣传周】大模型安全如何?500+白帽实网众测答案揭晓_中国网
...全文
451 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

109

社区成员

发帖
与我相关
我的任务
社区描述
本社区由重庆大学与云从科技联合发起并共同运营,旨在打造一个开放、前沿、务实的知识共享与交流平台。 我们聚焦于两大前沿技术领域:通用语言大模型 (LLM)与知识协同技术。
软件工程 个人社区 重庆·沙坪坝区
社区管理员
  • 阿大abcd
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧