Unknown unsafe场景:自动驾驶预期功能安全的核心挑战与应对
Unknown unsafe场景,几乎是所有自动驾驶工程师的一块心病。在预期功能安全(SOTIF,Safety of the Intended Functionality)的框架里,我们最怕看到的不是某个传感器坏了,而是系统设计本身没问题、硬件也没坏,却在一个谁都没想到的场景里栽了跟头。这篇文章就把这个痛点掰开来讲:Unknown unsafe到底是什么,为什么它比功能安全里的故障更让人头疼,业界靠什么手段去攻它,以及中国的预期功能安全标准现在推进到什么程度。适合做自动驾驶算法、测试验证、数据闭环的工程师,也适合对智能驾驶安全体系感兴趣的产品、管理和学生朋友。
1. Unknown unsafe场景到底是什么
1.1 预期功能安全与功能安全,根本是两个圈子
很多刚接触这个领域的人会把功能安全和预期功能安全搞混。功能安全对应ISO 26262,解决的是系统硬件或软件随机故障导致的风险,比如传感器突然断电、芯片算错数、通信丢帧。这些问题有一个共同特点:系统“坏了”。而预期功能安全对应ISO 21448,解决的是系统本身没有坏、功能也符合设计意图,但因为外部环境太复杂、性能边界受限、使用者误操作,最终导致了危险事件。
换句话说,功能安全是防“零件掉链子”,预期功能安全是防“系统在正常工作状态下仍然犯傻”。自动驾驶的多数疑难杂症,恰恰属于后者:摄像头没有故障,但逆光瞬间完全白化;雷达没有故障,但一个装着大量金属反射物的异形车辆让点云乱成一团;系统决策逻辑没有bug,但面对前方飘来的彩色气球直接判不出它是个“障碍物”还是“背景”。
ISO 21448里有一个非常经典的四象限划分,就是围绕“已知/未知”和“安全/危险”展开的:
| 象限 | 含义 | 典型例子 |
|---|---|---|
| 已知安全 | 系统明确知道该场景安全,也能正确应对 | 正常高速巡航,前方无车 |
| 已知非安全 | 系统知道该场景危险,并通过规避策略处理 | 前车急刹、行人横穿,主动刹车触发 |
| 未知安全 | 系统没遇到过该场景,但误打误撞也不会出事 | 路边横幅被识别成障碍物,车辆减速但不至于撞车 |
| 未知非安全 | 系统没遇到过该场景,且处理方式可能导致事故 | 施工路段临时摆放的半透明隔离墩,感知完全漏检 |
Unknown unsafe的直译就是“未知的非安全场景”。注意,这里的“未知”不是说车厢里没有任何人知道这个场景,而是说自动驾驶系统的知识库、模型和规则里没有覆盖到它。工程师在产品发布前可能完全没采集到这个case,也可能采集到了但没被识别成危险场景,还可能模型已经见过类似数据却泛化失败。只要系统在运行那一刻没有表现出“我理解这个场景是危险的”这个动作,它就在Unknown unsafe的范畴内。
1.2 为什么Unknown unsafe是“背锅侠”
已知的危险场景不可怕。传感器被遮挡,那就在算法里加遮挡检测;前方有施工标志,那就在地图和感知里都做融合确认。怕就怕系统“不知道自己在不知道”。这就是大家常说的“未知的未知”(unknown unknowns)。
举个例子。某条路线上有一片积水,晴天时车辆正常通过,但下了雨,积水反射出路灯和对面车灯,车道线在图像里完全消失,同时毫米波雷达也把水面反射当成低矮障碍物。系统没有发生过这种情况,决策模块可能选了保底策略,也可能在“跟车”和“变道”之间反复横跳。这种场景就是典型的Unknown unsafe——它不属于任何单个感知模块的故障,而是多因素叠出来的系统性盲区。
一旦触发事故,溯源极其痛苦。你去查感知日志,每个目标都“正常”,去查决策日志,每个决策都有依据,去查执行日志,转向和制动的响应时间都在毫秒级。正因如此,行业里有人把Unknown unsafe叫“背锅侠”:它看起来谁都对,但结果就是不对。很多团队在测试时百思不得其解的“幽灵刹车”“莫名偏航”,最终都指向这类场景。
还有一个让人头大的特点:这类场景无法用单纯的性能指标衡量。我们常看到一些自动驾驶系统宣传“决策延迟32.8毫秒”,这个数字在干净场景里当然很好,但在Unknown unsafe里,问题根本不在于“决策有多快”,而在于“系统压根没有意识到自己该做决策”。延迟再低,对着一个没被感知到的目标也无济于事。这就像一个人反应很快,但他根本没看见坑,反应再快也会踩进去。
2. 把“未知”翻成“已知”:场景库、数据集与仿真验证
2.1 数据和场景库:先喂饱模型再谈安全
解决Unknown unsafe的第一个思路非常朴素:既然问题出在“没见过”,那就尽量多见一些。自动驾驶数据集的建设因此成了整个SOTIF工作的地基。没有高质量数据,后面谈场景抽象、触发条件分析都是空中楼阁。
实际操作中,真正有价值的数据不是那种风和日丽、车道线清晰的常规数据,而是“脏数据”:雨天低照度的夜间视频、农用车混行的乡道、被落叶覆盖的标线、强逆光下戴着墨镜的行人。数据采集车需要专门去跑一些“刁钻”路线,也要用大数据筛选逻辑在云端把长尾场景捞出来。捞出来之后还要做场景抽取,把一段段原始数据切成带语义标签的片段,比如“前车急转弯导致本车切入弯道”“路面积水引起毫米波雷达多径反射”。
这里有个很容易踩的坑:很多团队把数据量当成KPI,总认为数据越多越好。但场景库建设的核心不是“条数”,而是“覆盖度”。同样一条城市道路,你跑一万遍,可能只覆盖了几种典型工况;而一条包含复杂环岛、施工围挡、电动车穿插的路段,可能几百条数据就能挖出十几种触发条件。我在项目里常用一个笨但有效的办法:把已采集数据按天气、时段、道路类型、交通参与者类型做交叉维度统计,优先补充那些没有任何样本覆盖的交叉格子,而不是无限增加热门区域的样本。
自动驾驶数据集还有一个关键用途:做数据回灌。把真实路采中的危险事件重新注入仿真环境,让系统反复跑同一场景,观察每次的感知输出和决策输出是否稳定。很多Unknown unsafe场景并不是每次触发,而是有随机性的,回灌上百次之后,才能暴露出概率性的失效模式。
2.2 仿真验证:低成本试错,包括游戏引擎
仿真验证是个大方向,这里特别想提一个很有意思的热点:有爱好者在《欧洲卡车模拟2》这个游戏里做出了智能车道保持的自动驾驶插件,也就是ets2la相关项目。乍一听像是玩票,但它其实反映了一个非常务实的趋势:游戏引擎在自动驾驶算法验证里的角色越来越重要。
为什么游戏引擎能派上用场?因为一个成熟的游戏世界里往往已经包含了大量高仿真的道路元素、天气系统、交通流和物理规则。基于游戏环境可以低成本地批量生成各种边缘场景,比如突然闯入的路人、浓雾、暴雨、对向车道的异常车辆,用来快速验证车道保持、自适应巡航这类单一功能的鲁棒性。相比动辄几十万的场景仿真软件,游戏引擎的授权成本和建模成本低得多,特别适合算法开发初期的快速迭代。
但用游戏引擎做验证也要清醒。游戏的物理引擎是“看起来像真实”而不是“真实”,传感器仿真通常也是理想化的,无法模拟复杂的电磁干扰、雨水飞溅到镜头上、异形拖车对毫米波雷达的反射特征差异。所以游戏仿真更适合用来发现浅层问题、筛选明显不合理的失效模式,不适合作为安全论证的证据。严谨一点的做法是把验证分成多层:游戏引擎做海量扫描,专业仿真软件做参数化场景复现,最后用封闭场地和真实道路做小批量确认。这么一条链跑下来,才算既覆盖了广度,又守住了可信度。
“仿真是否能够支持自动驾驶?”这个问题我经常被问。我的答案是:如果不能闭环,就不能支持。所谓闭环,是指仿真里发现的问题能够流转回数据采集计划、算法训练和场景库更新,形成一个持续收敛的回路。只要仿真结果只是跑完指标就放在那儿吃灰,那它再精致也没有意义。
2.3 三级抽象:功能场景、逻辑场景、具体场景
要把海量真实数据变成可计算、可验证的输入,光靠原始回放是不行的。ISO 21448和相关研究给出了一套经典的三级场景抽象方法,这也是目前国内场景库建设的主流做法。
第一层是功能场景,用自然语言描述,比如“双车道公路,本车直行,前方施工车辆低速行驶”。这一层的作用是让团队建立共同语言,方便跨部门沟通。
第二层是逻辑场景,把功能场景中的关键元素参数化。比如前车横向偏移量在0到1.5米之间分布、相对速度差在-10到30公里/小时之间分布、光照强度按晴天和逆光分档。逻辑场景的目的是填满参数空间,而不是只测几个“感觉典型”的组合。
第三层是具体场景,也就是从参数空间中采样出的具体数值组合,一条具体场景就是一组确定的参数,回放到仿真或真实环境中直接执行。举例来说,同样是“前方施工车辆低速行驶”,具体场景可能是“相对速度差15km/h、前车边距0.6米、逆光、路面干燥”。跑的场景一多,就能算出这个逻辑场景下的失效概率。
这套三级抽象最大的价值是让“剩余风险”变得可度量。我们不能说“这个场景足够安全了”,只能说“在这个参数空间的所有采样组合里,失效事件出现的概率低于百万分之一”。当企业对外宣称安全时,支撑它的不是一句口号,而是一整套从具体场景采样到失效概率统计的证据链。
3. 真正降低风险:触发条件分析、安全措施与运行闭环
3.1 触发条件:找“雷”的第一步
场景只是表面现象,真正要分析的是“为什么这个场景会触发系统失效”。这个“为什么”,就是ISO 21448里反复提到的触发条件。找触发条件,是整个预期功能安全工作中最有价值、也最吃经验的一步。
触发条件大体上可以分成四类:道路基础设施相关、环境相关、交通参与者相关、自车相关。道路设施包括弯道曲率突变、桥头跳车、施工围挡形式、车道线磨损;环境包括逆光、雨雾、积雪、路面反光、电子屏幕闪烁;交通参与者包括异形车辆、装载超长货物的货车、使用拐杖的行人、成群的电动车;自车相关则包括感知性能边界、底盘老化、载重变化带来的动力学差异。
分析手段不能只靠一种。我在项目里会把STPA(系统理论过程分析)、FTA(故障树分析)、专家头脑风暴和数据挖掘结合起来用。STPA擅长从“控制不足”“反馈缺失”的角度找出系统性问题,专家头脑风暴能利用一线试车员的经验补上难以量化的玄学场景,数据挖掘则负责在大量路采里自动聚类出那些“莫名其妙的意义点”。三条线交叉验证,命中率才高。
这里给一个实际案例。有一次我们排查一个在雨天高架上偶发“向左偏舵”的报告,看日志找不到任何感知异常。后来用数据挖掘把触发点单独拉出来做聚类,发现所有事件都有一个共同特征:左侧护栏的膨胀螺栓在水膜下形成了连续高反光点。视觉测距模块把这些反光点误判成近距障碍物,于是系统给了一个向左的规避转向。这个问题如果不做触发条件聚类,单纯调参数永远调不出来。找到触发条件之后,解决方案就清晰多了:在感知后处理中增加高光点筛除逻辑,同时要求地图模块对护栏位置做几何约束。
3.2 从识别到处理:功能降级、ODD边界与最小风险策略
识别出触发条件和场景之后,就要落实到工程改动了。按照成本和风险等级,措施大概从三个层面展开。
感知端可以做的事情最多,也最直接。针对逆光触发条件,可以增加HDR曝光策略和时域融合;针对雷达多径反射,可以增加点云置信度图;针对未知目标类型,可以让感知输出“未知障碍物”的类别而不是强归类到“卡车”或“行人”。这一点特别重要,因为很多算法为了满足模型结构,非要把目标硬归入某个已知类别。在Unknown unsafe场景里,一个“概率不高但类别未知”的输出,其实比“自信地错分类”安全得多。
决策端要增加的是“不确定性意识”。传统决策模块倾向于追求最优轨迹,但面对触发条件时要给“保守策略”留出更多权重。比如感知不确定度高、且当前场景与已知场景库匹配度低的时候,系统应该主动降速、扩大跟车距离、延后变道,而不是继续按照正常驾驶风格行驶。这个行为不一定要像接管那样剧烈,但必须让车辆进入一个“更安全”的状态。
执行端最兜底的措施就是最小风险策略(MRC)。当系统判断自己已经无法安全完成驾驶任务时,应该执行减速靠边停车、双闪提示,并请求接管。设计MRC时要注意一个细节:停止位置的选择非常关键,宁可停在行车道也不要停到应急车道出口附近,否则容易被高速驶来的后车追尾。
与此同时,ODD边界要动态管理。ODD不是一张写死的地图,应该是一套随时可以被触发的约束集合。比如“仅限无雨环境运行”可以进一步细化成“当雨量传感器判定中雨以上且雨刷频率超过阈值时,自动限制最高车速并缩短可变道窗口”。这种动态边界能力,是应对Unknown unsafe的重要缓冲。
3.3 运行阶段监控与影子模式
仿真和路测永远不可能穷尽所有场景,所以整个SOTIF体系最后一道防线放在了运营端——车辆已经卖出去、跑在路上之后,依然要持续监控和更新。这个思路和传统汽车出厂即定型差别很大,自动驾驶本质上是一个“在线学习、离线更新”的系统。
影子模式是当前最实用的做法之一。车辆在L2级辅助驾驶状态下正常行驶,系统后台偷偷运行一个“影子”版的L3级决策程序,但影子决策不会真正控制车辆。当车辆的人类驾驶员做出了和影子决策明显不同的操作时,后台把这个时刻前后的传感器数据、状态数据、决策数据全部打包上传。用大白话说,就是“让老司机做陪练,发现系统做得不对的地方就记下来”。
搭建影子模式闭环的时候,有几个容易忽略的细节。第一,事件触发的阈值不能太灵敏,否则每天上传几百个片段,数据管道根本扛不住;第二,不能只记录“系统错了”的事件,也要记录一些“差一点错”的边缘事件,比如人类驾驶员的紧急制动时间大于1.5秒但小于3秒的情况;第三,上传数据必须脱敏和加密,不能为了审查方便而牺牲用户隐私。
运营端积累的数据最终要流回场景库和训练集,形成闭环。我见过不少公司把影子模式做成了一个“数据筐”,只进不出,这是很大的浪费。正确做法是给每一个上传事件打上场景标签和触发条件标签,定期做聚类分析,找出高频出现的相关性特征,再把这些新发现的场景注入仿真测试,评估是否需要升级算法或调整ODD边界。
4. 中国标准与下一代技术路线:端到端、数据闭环与工程实践
4.1 中国预期功能安全标准进展
说完工程实践,再来看标准层面。这个领域的国际标准是ISO 21448,它给整个行业提供了共识框架,但各个国家在落地时都有自己的国情。中国道路场景的复杂度在全世界都是数一数二的:混合交通流、非机动车密度、复杂的施工围挡形式、各种法律边界模糊的特种车辆,这些很难完全照搬欧洲的产品设计思路。
国内围绕预期功能安全的标准化工作这些年推进得很快。全国汽车标准化技术委员会以及智能网联汽车相关的分标委陆续组织了预期功能安全标准的讨论和编制,市面上已经能看到《智能网联汽车 预期功能安全》一类标准的征求意见稿和报批稿信息。从公开资料来看,这套国内标准在继承ISO 21448核心框架的同时,重点加入了中国典型交通场景的诉求,比如对复杂城市道路、非机动车混行、道路施工临时设施等场景提出了更细化的验证要求。
对从业者来说,标准发布不是一个“到时候看”的事件,而是应该提前对齐的风向标。我的建议是:现在就可以把自家公司内部的SOTIF流程文档和ISO 21448做差距分析,留在国内标准里会有什么变化,边等边改。等标准正式落地再动工,流程改造、验证体系重建、供应链对齐都会非常被动。同时,预期功能安全标准未来的应用大概率会和自动驾驶准入、产品召回、责任认定这些环节挂钩。也就是说,标准不只是技术文件,它可能成为企业是否具备上市资格的重要判断依据。这个趋势非常值得重视。
4.2 端到端算法:从黑盒到可控
在Unknown unsafe的语境下,端到端自动驾驶算法是一个让人又爱又怕的存在。爱它是因为它能用一套大模型把感知、预测、规划整体打通,省去了大量规则代码和模块间接口调优的脏活累活,而且某些复杂场景下的表现比传统模块化方案更“类人”。怕它是因为它的中间过程不透明,我们很难回答“系统为什么做出了这个决策”。
前阵子大家热议的一个指标是端到端系统的决策延迟做到了32.8毫秒,这个数字在算力平台上相当惊艳。但我们要冷静地看,端到端模型虽然有极低的推理延迟,它的失效模式却是高度非线性的。传统模块化系统里,你还能通过查看每个模块的输出来定位问题;端到端系统里,一个莫名其妙的驾驶行为可能对应着一串无法直观解读的高维特征,排查Unknown unsafe的难度直线上升。
那么,端到端能不能支持自动驾驶安全?我认为可以,但需要给它套上“约束框架”。一种比较务实的做法是保留传统的安全监控模块,在端到端模型之外叠加一个规则化的安全层,负责检测限速、碰撞距离、ODD边界这些硬约束。端到端负责“开得聪明”,规则层负责“不准胡来”。一旦规则层判定当前状态脱离安全包络,就直接切换保守策略。这种“融合架构”会在一定损失上牺牲一点驾驶灵活性,但换来了可解释的安全边界。
另外,端到端模型对Unknown unsafe的泛化能力还有另一个坑:训练数据分布之外的类,模型可能会用极其“自信”的方式输出错误结果。这就要求数据集建设时特意加入矛盾样本、异常样本、负样本,并且在训练时加入不确定性估计输出,让模型学会说“我不知道”。一个能正确说出“我不确定”的自动驾驶系统,远比一个永远自信却偶尔翻车的系统更安全。
4.3 从业者实操建议:怎么从今天开始落地
标准还在推进、技术路线还在演化,但我们手里的活不能停。从我个人的项目经验来看,有几件事现在就可以做,而且立竿见影。
第一,建立自己的场景库。别等着标准要求,先从公司里现有的路测日志、用户反馈、事故追踪单里找出所有出现过“非预期行为”的时间戳,用三级场景抽象把它们结构化。哪怕最开始只有几百条,也比一张白纸强。后续每跑一次测试就往里加,半年后你就会拥有一套别人拿不走的资产。
第二,给团队搭一个数据闭环的骨架。SOTIF不是一次性分析,它需要在数据的驱动下持续演进。最简单的骨架可以是一个数据存储加一套触发条件标注工具再加一个定时跑批的离线统计任务。你不用一开始就上全套云计算平台,跑在一台训练服务器上也能运转起来。
第三,把“未知”纳入考核。很多团队的算法KPI只看准确率、误报率、接管次数,但这些指标天然无法反映Unknown unsafe。建议在内部引入一个“未知场景发现数”的概念,鼓励测试工程师和算法工程师主动寻找那些模型从未见过的场景,并且给它们打分。一个团队如果长期没有新增未知场景,不是因为它安全了,更可能是因为找场景的人不够积极。
最后,团队结构要做调整。预期功能安全不应该只是安全部门的事,算法、测试、数据、仿真、项目管理的人都要深度参与。我见过最好的组合是“算法负责人 + 场景库负责人 + 安全分析师”三人小组,每周固定过一遍新发现的触发条件,一起决定哪些进仿真、哪些进实车、哪些放到下一版ODD限制里。效率远高于一个独立安全团队闭门造车。
回看这些年做自动驾驶项目的体会,我对Unknown unsafe的态度其实经历了一个有意思的转变:从最初的“怕它冒出来”,到中间的“追着它跑”,再到现在的“接受它永远存在”。一个设计再好的系统也不可能做到绝对安全,预期功能安全的本质不是消灭所有未知,而是把未知压缩到可接受的范围内,并且保证当未知场景出现时,系统还有能力平稳地渡过危险。这大概也是这一代自动驾驶工程师真正要做到的事。最后分享一个小技巧:在做仿真回归测试的时候,把最新发现的Unknown unsafe场景做成一个可自动执行的“安全回归测试包”,每改动一次算法就跑一遍全部场景。别小看这个动作,很多事故都是因为某个模块优化之后,把之前已经解决的老场景又回归出来了。养成了这个习惯,你会在无数次深夜调试里庆幸自己当时没偷懒。