自动驾驶SOTIF实战:如何围剿unknown unsafe未知危险场景
做自动驾驶量产项目,最让人头皮发麻的往往是这类问题:限速60的城区道路,天晴路直,前方明明没有障碍,系统却突然点了一脚刹车;或者高速上离匝道还有两公里,车莫名往右靠了一下。数据回放看了无数遍,传感器帧对齐了,标注也没错,代码评审找不出毛病,可下一轮测试它又冒泡。团队里经常有人把它归类为“偶发误触发”,但搞过预期功能安全(SOTIF,Safety of the Intended Functionality)的人都知道,这正是标准里点名要收拾的 unknown unsafe——未知的危险场景。系统没有坏,代码逻辑也没违反设计,只是因为某个你没见过的输入组合,把功能本身的短板给激活了。这篇内容结合我这些年做自动驾驶安全评测与预期功能安全落地的经历,把unknown unsafe为什么难解决、传统功能安全为什么管不了它、场景工程和标准流程怎么配合去围剿它、以及中国预期功能安全标准的要求,掰开揉碎讲清楚。只想照抄落地步骤的,直接跳到第5和第6节;想看原理和判断标准的,建议从头读完。
1. Unknown unsafe到底是什么意思:先从一张地图说起
1.1 安全/危险的2×2矩阵
预期功能安全里最出名的一个框架,是把系统面对的整个世界按两个维度切成四个象限:一个维度是“这个场景你知不知道”,另一个维度是“在这个场景下系统会不会出事”。排列组合下来就是四个格子:已知安全(known safe)、已知危险(known unsafe)、未知安全(unknown safe)、未知危险(unknown unsafe)。
我习惯把它理解成一张探险地图。已知危险就像地图上标了“这里有沼泽”,你知道要绕开,所以可以提前写测试用例、加保护逻辑,哪怕处理得不好,至少方向和责任是明确的。已知安全就是“这里平地一块”,随便跑。未知安全最亏,它本来不会出事,但你没验证过,不敢放行,白白消耗测试资源和开发信心。最难缠的是unknown unsafe,地图上没标沼泽,你一脚踩进去才知道坏了——车在路上跑得好好的,突然一个误动作带来风险,等出了危险情况你才反应过来,原来这里有个坑。
SOTIF的核心任务说白了就一句:尽量把unknown safe和unknown unsafe转成已知区域,同时把已知危险区域的安全措施做到位。目标是让那张地图里的“未知”部分小到可接受,让“危险”部分被控制住。不是追求一个绝对不出事的系统,而是让残余风险低于你能承受的线。
1.2 触发条件:unknown unsafe的关键参数
每个自动驾驶功能在设计时都有边界。感知模型有训练数据的覆盖边界,规控算法有参数调校的适用范围,决策链路有时序上的约束条件。当真实世界的输入组合撞上某个边界,系统的行为就会偏离设计意图。SOTIF里管这个叫触发条件(triggering conditions)。
举一个我实际见过的例子。某款L2级辅助驾驶在城区快速路上,太阳角度很低、前方护栏在路面上投下一道横向阴影,同时路侧一辆货车车身的波纹板反射出连续光带。视觉模型把“阴影边缘+反射条纹”的组合判成了障碍物轮廓,系统直接给了一脚重刹。三个因素单个拎出来都极其平常,但组合在一起,训练数据里没有,测试用例里没写,线控日志里看不出任何故障码——这就是典型的unknown unsafe。
这类场景最坑的地方在于,它不是某一条规则写错了,而是“多条件同时命中”才触发。传统基于列表的穷举方式根本覆盖不过来,因为组合空间太大了。道路结构、交通设施、动静态目标、气象光照、自车运动状态、甚至乘员操作习惯,随便乘一下都是天文数字。
1.3 一个小数字引发的思考:决策延迟与边界状态
有人可能觉得unknown unsafe离日常开发很远,其实它往往藏在你最熟悉的指标里。之前数据回放时,某个版本的感知-决策-执行全链路时延中位数大约在32.8毫秒,很多同事觉得这个成绩已经挺能打。但真拿去结合场景算,高速100km/h巡航时,32.8毫秒意味着车辆已经往前走了将近一米。如果同时叠加前车急减速、路面微湿、本车刚过桥梁接缝这几件事,这个“指标好看”的延迟就会把系统推到运行边界之外。
所以做安全评估时,我从来不只看时延的平均值和中位数,而是拉出时延在不同场景下的分位数和波动方差。decision latency的异常跳变,往往比绝对数值更能预报unknown unsafe。一个系统可能在普通场景下40毫秒都稳,但某个特定场景下因为资源争抢跳到了80毫秒,这个跳变本身就是一个触发条件。
2. 为什么传统功能安全解决不了这种问题
2.1 ISO 26262管“坏了”,SOTIF管“没坏但蠢”
很多刚接触这个领域的朋友会问:我们不是已经有功能安全了吗?ISO 26262搞了这么多年,各种ASIL等级、失效分析、安全机制,怎么还需要另一个体系来管安全?
关键在于管的对象不一样。ISO 26262处理的是“系统某处坏了”,比如传感器短路、控制器失效、线束断裂,这类问题可以通过FMEA、FTA、FMEDA这类方法枚举失效模式,然后设计监控和降级机制。但unknown unsafe不是硬件坏了,也不是软件运行异常,而是功能本身在特定条件下“犯蠢”。
我常用一个类比:方向盘失灵是功能安全;大晴天逆光开车,眼睛没瞎但就是看不清路,这是预期功能安全。后者没有一个明确的零部件该背锅,是感知、决策、执行链条上的能力局限在特定场景下被放大了。传统功能安全的方法论在这里几乎使不上劲。
2.2 故障树能查“器件”,查不了“场景组合”
ISO 26262之前的成功,很大程度上建立在“失效模式是可枚举”的假设上。一个ECU有哪几种失效模式、每种失效模式触发什么故障、需要什么安全机制,可以通过故障树一层层往下拆。但unknown unsafe的产生不是失效,而是“没见过的输入组合”激活了功能局限。
尤其现在很多团队转向端到端模型,感知和规控的中间过程是个黑盒,你没法把“为什么在这个路口误判”拆成几个独立模块的失效事件。传统V模型里那种“需求-设计-实现-测试”逐级追溯的思路,遇到海量组合场景时会出现一个尴尬局面:需求是完整的,代码是符合需求的,但系统整体行为依然不安全。
所以SOTIF把重心从“证明系统没有失效”转向“证明系统在目标场景空间内残余风险可接受”。这不是一个逻辑上的修补,而是整个验证哲学的变化。哪家团队如果还抱着“把所有场景列表写出来测一遍”的想法,一定会被unknown unsafe的规模打趴下。
2.3 可接受风险与证据链
另一个让功能安全工程师不适应的点是:SOTIF不接受“绝对安全”的说法,它要求你给出一个可接受风险的定义,并用证据证明系统达到了这个线。
工程上常用AUC这个指标来给系统“打分”。横轴是场景挑战度,从最简单到最极端,纵轴是系统在该挑战度下出现危险行为的累计比例。一个理想的系统,在低挑战度场景下几乎不出问题,只有挑战度逼近ODD边界时才出现性能极限,于是AUC很接近1。如果系统在中等挑战度场景就开始冒泡,AUC会明显掉下来,说明功能裕量不足。
指标只是一个度量手段,背后最重要的是证据链。任何一个SOTIF评估结论,都要能回溯到“哪一批场景、哪一版算法、哪一轮测试、得到什么统计结果”。这也正好解释了为什么标准放在那里,很多企业却迟迟落不了地——不是没有安全目标,而是拿不出符合统计要求的验证证据。
3. 场景从哪来:数据、仿真、实车三管齐下
3.1 场景挖掘:从自然驾驶数据到边缘案例
要围剿unknown unsafe,第一步不是写代码,而是把场景找出来。场景不是“一条路”那么简单,它是一组多维度参数的组合:道路几何、车道线状态、交通信号、动静态障碍物、天气光照、自车速度与姿态、甚至驾驶员操作习惯。每一个维度都有取值空间,场景库要做的就是把这些维度参数化、组合化。
自然驾驶数据是基本的原材料。车里装上数据采集系统,跑出来的真实轨迹、感知真值、驾驶员操作记录下来,统计出高频场景和典型场景。开源的自动驾驶数据集(像nuScenes、Waymo这种)适合做模型泛化测试,但要做SOTIF级的安全评估,还是得自己围绕目标ODD建场景骨架。
更关键的是边缘案例的挖掘。光靠被动攒数据远远不够,得主动变异:把正常场景里的天气从晴变成雨,把前方目标车的车速调快20%,把路侧广告牌换一个样式。我团队里专门有一拨人干这个,每天的工作就是“把一个正常场景改到它不正常为止”,然后看系统在哪一步开始出现行为偏移。这些变异后的场景,才是unknown unsafe的富矿。
3.2 低成本仿真:游戏级驾驶平台也是武器
专业仿真平台像VTD、CARLA、SUMO,能做高保真的传感器模型和物理模型,但贵、慢、场景库建设周期长。早期算法验证阶段,我见过一个很务实的办法:用商用卡车模拟器甚至游戏级驾驶平台,挂上一套自动驾驶控制插件,把极端场景批量灌进去跑。对,就是《欧洲卡车模拟2》这类游戏平台。
别看它物理精度一般,用来做“场景组合的快速筛子”特别合适。你可以在一晚上跑上千个道路线形、天气、交通流组合,把明显会触发误判的组合优先筛出来,再送到高保真仿真和场地测试去做确认。这个思路不高级,但非常实用,尤其是在项目初期数据量不足的时候,它能帮你快速建立对unknown unsafe的直觉。
需要提醒的是,游戏级平台不能作为安全释放的证据。它的传感器噪声模型、车辆动力学模型跟真实世界差得远,仿真里没出问题不代表实车没问题。正确的姿势是:先用低成本平台做广撒网,再用高保真仿真和实车做精确验证,三层漏斗层层收紧。
3.3 如何量化“没见过的场景”变少了
场景找到了、也跑了,怎么知道自己干得够不够?这就要引入覆盖度指标。参数化场景库里每一个场景都可以算距离,两个场景之间维度变化多大算一个新场景,有一个明确的度量方式。然后统计当前测试集覆盖了整个场景空间多少比例,再结合AUC看系统在覆盖到的区域表现如何。
这里面有个大家容易忽略的点:场景覆盖度是一个“过程指标”,不是“结果指标”。覆盖度再高,也不能直接证明安全,它只能告诉我们“未知区域还有多大”。真正的安全释放还要看危险事件率和可用性。
我这里给一个简化版的验收逻辑:假设你定下的安全目标是每10万公里内不得出现一次危害事件,置信度取95%,在零失效假设下,需要的验证里程大约是-ln(0.05)/(1/10万)≈30万公里。这个数字比很多团队拍脑袋定的“跑够一万公里就发布”要大一个数量级。所以做SOTIF的人,数学和统计素养不能太差,不然没法跟项目组谈发布条件。
4. 预期功能安全的中国标准:从ISO 21448到国标
4.1 SOTIF标准化进程
预期功能安全真正走到标准化,是2019年ISO发布了21448的第一版技术报告,到2022年发布正式版,明确定义了预期功能安全的术语、流程和验证确认框架。这个标准一出,整车厂和一级供应商的对标清单里就多了一项硬指标。
国内跟进的速度并不慢。2023年发布了推荐性国家标准GB/T 42320-2023《智能网联汽车 自动驾驶系统 预期功能安全》,把自动驾驶系统预期功能安全的要求以国标形式固定下来。从产业视角看,这件事的意义不只是多了一份技术文档,而是让SOTIF从一个“有最好、没有也行”的加分项,变成了进入某个车型量产准入门槛的必答题。
4.2 国标里到底要求了什么
从整体架构上看,GB/T 42320-2023基本对齐了ISO 21448提出的V&V方法论,同时更强调结合中国实际驾驶场景和ODD边界条件来定义安全需求。标准的框架大体覆盖几个方面:自动驾驶系统的功能定义与ODD范围、危害识别与风险评估、SOTIF相关安全需求的导出、系统性的验证与确认、运行阶段的监测与响应、以及安全释放准则。
需要特别提醒的是,国标不是ISO 26262的替代品,两者是互补关系。ISO 26262管的是随机硬件失效和系统性失效,GB/T 42320管的是“没有故障的功能不足”。一个自动驾驶系统要合规,两份标准都得走。现在很多团队把通过了功能安全审核当成万事大吉,结果SOTIF条款一项都对不上,这在项目评审时是非常尴尬的。
4.3 对产业链的直接影响
标准落地的直接反应,是整个供应链的安全证据要求随之升级。以前“安全”经常是算法团队里一个安全工程师的事,现在主机厂拿着SOTIF条款去问Tier1:你的感知模块在哪些触发条件下存在功能不足?你的规控模块在ODD边界上的性能衰减曲线是什么?你的数据平台能不能支撑场景覆盖率统计?很多供应商第一次被问这几个问题的时候,是拿不出文档的。
我接触到的变化是,越来越多项目在版本交付前增加了一道SOTIF评估闸口:算法版本必须附带触发条件分析、场景测试报告和残余风险评估,否则不接受集成。这对小团队来说压力很大,但从行业整体看是好事——安全不该靠运气,而该靠流程。
5. 实操落地:怎么“围剿”unknown unsafe
5.1 完整工程流程梳理
大概每三个月就有人问我SOTIF到底该怎么落地。我在几个项目里逐步跑通了一套七步流程,分享出来供参考。
第一步,明确功能定义和ODD边界。你的系统是L2还是L2+?只能在高速公路用还是也能跑城市快速路?天气、光照、道路类型、车速范围都写清楚。ODD写得越含混,后面所有的验证工作都没法聚焦。
第二步,做危害识别和风险分析。列出系统在ODD内可能造成的危害事件,比如碰撞、偏离车道、不合理减速,然后评估每个危害的严重度、暴露率和可控性。这一步会产出一张安全目标表。
第三步,做触发条件分析。针对每个安全目标,反向问“什么情况下系统会达不到这个目标”,把触发条件列成清单。刚开始只能列出已知的部分,但这个过程会逼着团队把系统短板摸一遍。
第四步,建场景库。根据ODD和触发条件清单,把场景参数化、组合化,形成基础场景库、边缘场景库和变异场景库。
第五步,制定V&V方案。明确哪些场景用仿真跑、哪些用场地测、哪些必须实路跑,每一类场景跑多少样本量、达到什么标准算通过。
第六步,定义发布准则。把安全目标转化为可量化的指标线,比如危险事件率、误动率、可用性、场景覆盖率。这一步是跟项目组“谈条件”的关键。
第七步,运行阶段监控。车卖出去了不等于工作结束,要通过影子模式和数据回传持续监控,发现新的unknown unsafe再反哺场景库和算法迭代。
5.2 发布准则怎么写:一个可抄的框架
很多人卡在第六步,不知道发布准则该写什么。我给出一个可参考的框架,具体数值根据项目风险承受度调整。
发布准则至少包含五类指标:一是危险事件率,比如每百万公里发生的高风险事件数不超过多少;二是误动率,比如每千公里非预期的急刹、急转向不超过多少次;三是可用性,比如无人工接管行驶里程占比达到多少;四是场景覆盖率,比如核心场景库的覆盖率要达到95%以上;五是决策质量指标,比如决策时延在特定场景下的P99值不能超过多少毫秒。
写这些指标的时候有一个容易犯的错:只写单一平均值,不写分布。比如“平均每千公里误动0.3次”,听起来能接受,但如果误动集中在某些危险场景里,这个平均值根本反映不出风险。我一般都会要求把指标按场景类型分层统计,把统计口径写在发布准则里,避免后面扯皮。
还有一个数学上的建议:凡是涉及“零事件”的指标,都要受样本量约束。你跑了5000公里没出事,不代表出事率低于每万公里一次,统计上样本量不够就是不够。项目组催发布的时候,这套统计推演能帮你守住底线。
5.3 影子模式与数据回传的隐私红线
运行阶段监控最常用的是影子模式:车辆正常由系统或驾驶员控制,后台并行跑一套仿真逻辑,如果后台输出和实际行为出现显著差异,就把这一段数据打包上传。这个机制能持续捕捉候选的unknown unsafe场景。
但影子模式落地有三个坑:第一,数据回传必须做隐私合规处理,图像里的人脸、车牌要脱敏,位置信息要按规则处理,这个环节一定要跟法务早期介入;第二,回传触发条件不能只存传感器数据,要把算法内部状态变量一起存下来,不然事后没法重建当时的决策过程;第三,影子模式的判定阈值不能设得太松,否则回传量巨大,数据平台直接被打爆,也不能设得太紧,否则漏掉真正有价值的边缘案例。
6. 常见问题与排查技巧实录
6.1 典型问题速查表
下面表格里这几个问题是我们在实际项目里遇到频率最高的,列出来给各位做个速查参考。
| 现象 | 常见触发条件 | 排查要点 |
|---|---|---|
| 幽灵刹车:前方无车突然重刹 | 逆光+阴影边缘+护栏纹理组合 | 回放时核对图像和点云时间戳,检查感知置信度序列 |
| 匝道口犹豫或压实线 | 标线磨损+强光反射+前车遮挡 | 查看语义分割结果,确认到底是感知漏检还是规控决策晚 |
| 桥梁接缝处横向抖动 | 路面接缝+底盘垂向加速度冲击 | 对齐IMU信号与线控请求,看是否是底盘响应延迟 |
| 对静止车辆识别不稳定 | 车体被树木阴影或雨雾部分遮挡 | 拉检测置信度时间曲线,看目标是否反复跳变 |
| 决策延迟周期性变高 | GPU温度升高触发降频 | 监控算力负载和温度日志,对比时延分布 |
6.2 数据回放正常,实车却出问题
这是我在群里被问得最多的问题,没有之一。我的第一反应永远是:回放丢状态了。
有一回我们的车在场地里偶发一次不合理的变道,拉了传感器日志回放,怎么看都正常。折腾了两周,最后才发现问题出在GPU温度上。车辆在高温环境跑一阵后,GPU触发降频,推理时延从正常的28毫秒跳到48毫秒,正好在一个连续变道场景里超出了规划模块的等待时间。回放时GPU负载低、温度低,根本复现不了这个状态。
从那以后我要求所有的回放系统必须支持“环境-系统状态”联合回放,也就是不只要回放摄像头和雷达数据,还要把算力负载、温度、电压、内存占用这些内部状态一起回放。unknown unsafe的场景变量不只是外界环境,系统自身状态同样是变量之一。
6.3 组织协作的坑
最后聊一个非技术问题。SOTIF要真正落地,单靠一个功能安全工程师根本做不成。算法团队要提供触发条件假设,测试团队要执行场景库验证,数据平台要支撑回传和统计,系统架构师要评审ODD定义。四个角色缺一环,流程就会断。
我见过太多项目死在一个场景上:问题发生了,数据也回传了,但因为没有明确的责任人,最后被归类为“偶发误触发”,不了了之。我们内部定了一条规矩:任何没有故障码但系统输出不符合预期的case,都强制登记为expected_functional_issue,统一打标签、做触发条件分析,不允许用“偶发”两个字结案。这个规矩看起来很死板,但它帮我们抓出过好几个典型的unknown unsafe,其中包括一个靠纯路测一辈子都攒不够复现次数的中环误减速场景。
如果说有什么最后的经验值得分享,那就是:对unknown unsafe最有效的策略,是承认它未知,而不是假装它不存在。把每一个“说不清楚为什么”的case都当成线索,沿着线索去建场景、做分析、补测试,而不是压下去、忘掉它。这套打法不性感,也不快,但它是目前唯一能让安全这件事可追踪、可复现、可交付的路子。标准在往前推,流程在往严里走,早一天把这个闭环跑起来,项目就能少一天在未知区域里裸奔。