109
社区成员
发帖
与我相关
我的任务
分享2025年9月16日,国内首次大规模AI大模型安全众测结果正式发布,吸引了行业广泛关注。这次测试针对国内主流人工智能大模型产品进行了全面安全检测,揭示了当前AI系统面临的新型安全挑战。
本次实网众测由中央网信办网络安全协调局指导,国家计算机网络应急技术处理协调中心主办。测试范围覆盖了国内10家主要AI厂商的15款大模型及相关应用产品,包括单模态和多模态不同类型的大模型,具有较强的代表性。
活动历时数月,汇聚了559名网络安全专业人士,他们以“白帽子”身份对在线运行的AI大模型产品进行了实战化安全测试。这种实网测试方式能够更真实地反映大模型在实际运行环境中面临的安全风险。
测试累计发现各类安全漏洞281个,其中大模型特有漏洞达177个,占比超过六成。这一数据表明,传统安全防护措施已难以完全覆盖AI大模型面临的新型风险。
测试发现的主要漏洞类型包括:
值得注意的是,提示注入类漏洞由于攻击门槛低、成功率高,成为大模型安全领域的“头号威胁”。这类漏洞往往成为实施其他攻击的“突破口”。
在参与测试的产品中,部分大模型展现了较高的安全防护水平。腾讯混元大模型、百度文心一言、阿里巴巴通义APP、智谱清言等产品发现的漏洞风险相对较少,体现了这些企业在AI安全方面的重视与投入。
本次测试也涌现出一批优秀的网络安全专业人员,他们从攻击者视角对大模型进行了多维度测试,为提升AI系统安全性做出了贡献。
测试结果给AI行业带来了重要启示:随着大模型应用场景的不断拓展,传统“外挂式”的被动防御模式已难以应对动态演化的安全风险。AI安全需要从系统设计之初就被纳入全生命周期考虑,建立“内生安全”机制。
针对测试发现的问题,专家建议采取多方面措施加强AI大模型安全防护:
首先,应对大模型输出持“零信任”态度,将其视为不可信输入并进行强制验证与适当编码处理。同时,需要实施严格的输入输出验证和过滤机制,遵循最小权限原则。
其次,应加快制定AI漏洞分类分级标准,建立按应用场景划分的风险等级体系。通过众测等模式汇聚社会专业力量,构建AI安全共治生态。
最终目标是建立“以人为本,智能向善”的人工智能发展环境,构建普惠、公平、安全、可信的AI生态系统。只有筑牢安全基石,人工智能技术才能健康可持续发展,真正造福社会。
随着AI技术深入各行各业,安全性将成为决定其应用范围和深度的重要因素。这次众测不仅是一次安全检测,更是AI行业发展的重要里程碑,标志着我国AI安全治理进入了系统化、实战化的新阶段。
相关链接: