2020年智能网联汽车产品测试评价白皮书.pdf

智能网联汽车产品测试评价 白皮书 （ 2020 年 ） 中国智能网联汽车产业创新联盟 国汽（北京）智能网联汽车 研究院 有限公司 华为 技术有限公司 中国汽车技术研究中心有限公司 中国汽车工程研究院股份有限公司 北京新能源汽车股份有限公司 2020 年 10 月 指导专家 李 骏 清华大学 李克强 清华大学 公维洁 中国智能网联汽车产业创新联盟 万 蕾 华为 技术有限公司 朱西产 同济大学 邓伟文 北京航空航天大学 方茂东 中国汽车技术研究中心有限公司 陈 涛 中国汽车工程研究院股份有限公司 刘卫国 国汽（北京）智能网联汽车研究院有限公司 尹 颖 北京新能源汽车股份有限公司 编写单位 中国智能网联汽车产业创新联盟 ，国汽（北京）智能网联汽车研究院有限公司 ， 华 为 技术有限公司 ， 中国汽车技术研究中心有限公司 ， 中国汽车工程研究院股份有限公 司， 北京新能源汽车股份有限公司 编写人员 陈桂华、夏媛、高永强、隋琳琳、陈瑶、李乔、 秦孔建、周博雅 、 张志强 、 郭魁元 、 赵树廉 、 邢春鸿 、杨良义、 潘俊、 贾贝贝 、 刘元春 、 张环 、 周莹 、张泽忠 、于胜波 、高嵩、 徐月云、王瑶、张巍 参研单位 中国第一汽车股份有限公司 ， 重庆长安汽车股份有限公司 ， 郑州宇通客车股份有限公 司 ， 国家智能商用车质量监督检验中心 ， 中移（上海）信息通信科技有限公司 i 目 录 一、智能网联汽车产品测试评价白皮书编制概要 . 1 1.1 编制背景 . 1 1.2 适用范围 . 3 1.3 编制目标与意义 . 3 1.4 编制方法 . 4 二、国内外智能网联汽车测试评价标准法规及应用示范发展现状 . 5 2.1 各国 积极推进智能网联汽车技术产业化，开展道路测试、应用示范及商业化试运营 . 5 2.2 智能网联汽车驾驶辅助功能评价体系逐步完善，自动驾驶功能评价体系尚需建立 . 7 2.3 逐步建立支撑高级别自动驾驶的基于复杂场景的全新综合评价体系 . 9 三、智能网联汽车产品测试评价流程 . 10 四、智能网联汽车产品测试场景的构建 . 11 4.1 测试场景设计方法及要求 . 11 4.2 场景库构建流程及要求 . 13 五、智能网联汽车产品测试方法 . 14 5.1 虚拟仿真测试 . 15 5.1.1 虚拟仿真测试流程 . 15 5.1.2 虚拟仿真测试基本要求 . 16 5.2 封闭场地测试 . 17 5.2.1 封闭场地测试项目 . 17 5.2.2 封闭场地测试场景设计 . 19 5.3 实际道路测试 . 19 5.3.1 测试路段选取 . 19 5.3.2 测试时长和里程要求 . 20 5.3.3 通过标准 . 20 六、智能网联汽车产品评价指标 . 21 6.1 安全 . 21 6.2 体验 . 23 6.3 配置 . 25 6.3.1 智能网联汽车产品配置现状分析 . 25 6.3.2 智能网联汽车产品配置的评价 . 26 6.4 综合得分 . 26 七、智能网联汽车产品测试评价发展展望与建议 . 30 ii 7.1 建立健全测试相关标准法规，支撑 L3级及以上智能网联汽车产品准入 . 30 7.2 建立中国特色第三方智能网联汽车测试评价体系，引导产品测评优化 . 30 7.3 引导智能网联汽车权责划分，支撑建立完善的保险体系 . 30 7.4 引导建立自愿性认证服务体系，指导消费者购车 . 30 附录 1 安全评价 指标示例 . 1 附录 2 体验评价指标示例 . 6 附录 3 配置评价指标示例 . 9 附件 国内外智能网联汽车测试评价相关标准法规 发展现状 . 12 （一） 驾驶自动化分级标准逐步完善 . 12 1、国外研究现状 . 12 2、国内研究现状 . 13 （二） 智能网联汽车测试评价相关标准法规研究现状 . 16 1、联合国世界车辆法规协调论坛（ UNECE/WP.29） . 16 2、国际 标准化组织 /道路车辆技术委员会（ ISO/TC22） . 21 3、美国 . 22 4、国外其他国家 . 24 5、中国 . 25 参考文献 . 28 一、 智能网联汽车 产品测试评价白皮书编制概要 1.1 编制 背景 智能网联汽车是指搭载先进的车载传感器、控制器、执行器等装置，并融合现代通信与网 络、人工智能等技术，实现车与 X（车、路、人、云等）智能信息交换、共享，具备复杂环境 感知、智能决策、协同控制等功能，可实现 “安全、高效、舒适、节能 ”行驶，并最终可实现替 代人来操作的新一代汽车 1。 测试 评价 是智能网联汽车自动驾驶功能开发 、 技术应用 和商业推广 不可或缺的重要环节 。 不同于传统汽车， 智能网联汽车的测试评价对象变为人 -车 -环境 -任务强耦合系统 。 随着驾驶自 动化等级的提高，不同等级自动化水平所实现的功能逐级递增， 导致对其 进行 测试验证极具挑 战性 ， 部分国家和区域已出台相应的法律法规允许 智能网联 汽车进行公路测试，以充分 验证智 能网联 汽车的安全性 。除了道路测试， 围绕智能网联汽车 测试评价 环节所需的标准体系 和 相关 测 评 方法，各国的政府机构、科研院所、相关企业开展了大量研究工作。 汽车驾驶自动化分级相关标准提供了初始监管框架， 为制造商及企业在 智能网联 汽车的安 全设计、开发、测试和部署提供指导 ， 为后续自动驾驶功能相关标准制定奠定基础 。 随着智能 网联汽车技术的发展，越来越多的人已经认识到，驾驶自动化分级并不是描述 智能网联汽车 自 动驾驶系统的唯一要素（ L5级完全自动驾驶除外），驾驶自动化分级与自动驾驶系统的智能化 程度 、 使用体验 等 没有直接的对应关系。 表 1-1 高速场景下的 L3级 HWP产品自动驾驶能力差异对比 首先， L4 级并不能简单理解为一定比 L3 级更优秀或者技术更高级，如 L3 级城市工况自 动驾驶可能比 L4级封闭园区自动驾驶更难实现，驾驶自动化分级不完全和自动驾驶系统智能、 安全、性能、体验等相对应；其次，同一等级的自动驾驶能力差异也很大，如 表 1-1所示， 同 为高速场景下的 L3 级 HWP， A 车的 ODD 能够覆盖高速公路 、 隧道和匝道， B 车的 ODD 只 能覆盖高速公路； A 车的运行速度能够达到 110km/h，能够实现车道保持、变道和超车功能， B 车的运行速度只能达到 60km/h，只能实现车道保持功能。差异如此大的两个系统叫做同样 的等级，同样的名字，会给市场和消费者带来误解。因此为准确描述某项自动驾驶功能，需要 同时明确其驾驶自动化分级和设计运行范围等。 另一方面，汽车驾驶自动化分级对法律责任划分有影响，但不能作为责任认定的完全依据， 尤其对于 L3级有条件自动驾驶，涉及到人机共驾的责任划分 ， 必须结合具体每一款产品和应 用环境做详细界定，才能明确具体个案中各方的责任划 分。同时，根据明确的责任划分，进而 可以选择相应的保险产品，作为解决这一问题的补充途径。 产品准入方面， 联合国自动车道保持系统（ ALKS）法规是针对 L3级 驾驶自动化功能 的第一个具有约束力的国际法规 ， 该法规以联合国自动驾驶框架文件为指导，从系统安全 与失效保护响应、人机界面、 OEDR、 DSSAD、信息安全及软件升级等五方面对 ALKS提出严 格要求 ，并已 被 1958协定书采用 ，其缔约国可据此开展 ALKS功能的产品认证。 第三方测评体系方面， 白皮书编制组梳理了国内外现有智能网联汽车相关 第三方 测评体系 的现状，如表 1-2。 可以看出 ， 现有已实施或新增测评体系主要是对 驾驶 辅助 功能进行 评价 ， 仅适用于 L2 级及以下自动驾驶 辅助系统，行业尚未建立适用于 L3 级及以上 自动驾驶功能 的 第三方 测评 体系 。 表 1-2 国内外现有 ICV相关第三方测试评价体系内容对比 （ 已实施 新增 征求意见） 注： IIHS-美国高速公路安全保险协会 C-IASI-中国保险汽车安全指数 CCRT(智能电动汽车）管理规则（ 2020 年） 因此，如何准确、客观、公正的评价一辆智能网联汽车的功能和性能表现，已经成为在高 级别智能网联汽车大规模商业化落地之前待解决的重要任务。 1.2 适用范围 本白皮书所述 智能网联汽车 产品测试评价方法（以下简称 “本方法 ”） 适用于 能够实现 高级 别 自动驾驶 1的 智能网联汽车产品， 适用于配备自动驾驶系统且具备自动驾驶功能的 M 类、 N 类车辆，其它类型车辆可参照执行。 本白皮书 可用于评价 高速 /环路、市内运行、泊车 /取车、封闭园区和城际 /郊区 等 五大连续 运行场景 的自动驾驶运行能力 ， 可 用于 Robotaxi、 AVP、 HWP 等 典型自动驾驶 汽车 产品的测 评，同时港口、矿区车辆可参照使用 。 本白皮书 所述 的智能网联汽车产品测评方法可为企业产品研发、测试机构基础测评和差异 性测评、消费者购车、保险机构理赔提供参考和支撑。利益相关者可依据测试目的（整车 /零部 件），自动驾驶系统的运行范围（高速 /城区 /泊车 /封闭园区 /城郊），智能网联汽车产品形态 （ L3/L4， 载客 /载货）等从中抽取测试指标进行测试。 1.3 编制目标与意义 为解决上述问题，本白皮书以安全性和智能化为出发点，通过量化设计运行范围（ ODD）、 功能与性能指标， 从 安全 、 体验两大性能维度进行 评价， 并以配置维度作为辅助评价 ， 建立基 于复杂测试场景的高级别智能网联汽车产品测评模型。该产品测评模型 不仅能够在纵向上比较 不同等级的智能网联汽车，同时能够在横向上差异化区分同一等级的车辆。 智能网联汽车产品测评模型的构建是一个随技术和产业发展不断完善和调整的过程，形成 持续讨论和更新完善的工作机制，预计分三步走，本白皮书 1.0版本目前主要支撑工作 1） 的开 展。 1） 服务汽车产业发展升级，指导智能网联汽车产品研发： 从 安全 、 体验两大性能维度进 行 评价， 并以配置维度作为辅助评价 ，囊括产品研发过程中需要 重点考虑的所有具体指标；提 出具体评价指标的权重概念； 为自动驾驶技术突破以及产品研发提供指导，引导整车和零部件 企业对产品进行优化升级，推动其不断提高智能网联汽车综合性能。 2） 服务构建国际领先的一体化、多层级测评体系，满足 “基础 ”+“进阶 ”测评优化双轨需求： 1 高级别自动驾驶是指 GB/T汽车驾驶自动化分级（报批稿） 标准中的 3级（有条件自动驾驶）、 4级 （高度自动驾驶）和 5级 （完全自动驾驶） ， 自动驾驶系统（ ADS） 负责目标和事件的探测与响应 根据产品基础测评重点关注的安全要求，抽取具体评价指标为产品基本要求管理提供基础测评 指标数值参考；根据进阶测试优化提升重点与要求，抽取具体评价指标，为企业开展自我评估 和技术验证提供参考模型；对权重的具体数值进行迭代研究；支撑第三方检测机构开展高级别 智能网联汽 车产品测评模型研究，测评机构可根据其需求，抽取关键场景及元素，构建测评场 景用例库。 3） 服务消费者购车、用车，提供可信赖、有参考价值的智能网联汽车产品评价结果，加 快智能网联汽车的推广应用：重点指导市场区分驾驶自动化同等级 /不同等级智能网联汽车的 综合能力，区分 “良币 ”和 “劣币 ”；提升消费者对于智能网联汽车的客观认知，加快提升量产智 能网联汽车的市场体验；引导智能网联汽车权责划分，支撑建立完善的保险体系；引导建立自 愿性认证服务体系，探索开发认证项目、认证规范与认证模式，推动自愿性产品认证互联互通 与国际互认。 1.4 编制方法 充分研究国内外智能网联汽车测试评价相关政策法规发展现状，重点评估现有分级标准和 自动驾驶功能测试评价相关法规标准的适用性；调研国家级智能网联汽车测试示范区（场）、 第三方检测认证机构、科研机构及高校相关研究进展；组织行业会议，邀请专家评审。 二、 国内外智能网联汽车 测试 评价标准法规及应用 示范发展现状 智能网联汽车是汽车与信息、通信技术融合发展的典型应用，代表着当前及今后相当长时 期内汽车技术发展和应用的方向，也是世界各国汽车产业未来发展和竞争的重点。欧、美、日、 中等国家和地区都从战略 层面 ，采取包括研发鼓励、示范运行、标准规范、政策扶持在内的综 合措施引导与促进其发展， 旨在 消除制约智能网联汽车技术发展和应用的障碍，创造有利于智 能网联汽车新技术、新功能、新产品、新应用发展和推广的良好氛围，逐步适用、最终形成智 能网联汽车条件下新的经济、社会和法律法规环境。 国内外智能网联汽车测试评价相关标准法规发展现状详见 附件 。 2.1 各国 积极推进智能网联汽车技术产业化 ， 开展 道路测试、 应用示范及商业化试运营 欧、美、日在智能网联汽车技术领域形成了较强的 技术积累 ，相关企业积极推进智能网联 汽车技术产业化， 纷纷发布面向 L3L4 级的智能网联汽车量产计划。 综合来看，国外典型车 企智能网联汽车量产计划基本符合各国产业发展路线规划的预期目标。 2020 年开始，众多主 机厂计划逐步将 L3 级智能网联汽车投放到市场；到 2025 年， L3 级智能网联汽车将得到大量 应用， L4 级智能网联汽车开始得到商业化。其中，奔驰计划于 2020 年在 S 级轿车上搭载 L3 级自动驾驶系统，到 2024 年左右量产具备 L4 级自动驾驶功能的智能网联汽车；宝马计划于 2022年推出 L3级自动驾驶量产车型 BMW iNEXT；福特计划于 2022 年在美国市场推出 L4级 自动驾驶汽车；丰田计划在 2020年实现 L3级自动驾驶能力，到 2030年实现在高速公路上的 L4级自动驾驶汽车。 同时，欧、美、日 相关企业已经开展多个自动驾驶商业化应用项目，通过实际应用推动技 术迭代步伐。 2018 年 12 月， Waymo 在美国凤凰城郊区推出了首个商 业自动驾驶乘车服务 Waymo One，运行路线包括凤凰城的钱德勒、坦佩、梅萨和吉尔伯特 4个郊区，乘客通过 APP 呼叫车辆，可以前往 80-100平方英里区域内的任何地方。 2020年 2月， Nuro第二代自动驾驶 汽车取得无人送货车豁免资格，成为美国豁免的第一个自动驾驶应用案例； Nuro 致力于在美 推广无人驾驶运输车辆的应用，正在为 Kroger、 Frys Food等零售公司提供配送服务。丰田汽 车开发 e-Palette移动平台并取消驾驶员座位，打通通勤、物流以及用餐、办公等各类生活场景 ； 计划使用 e-Palette 移动平 台作为奥运村内巡回巴士 。 日本自动驾驶企业 ZMP 已经开始在东京 都内开展搭载普通乘客的自动驾驶出租车试运营， 2020 年 1 月， ZMP 组织开展了机场自动驾 驶摆渡车、自动驾驶出租车与最后一公里自动驾驶小巴的联合测试 。博世 开展 高级别自动驾驶 研究与示范应用 ， 与戴姆勒合作打造自主代客泊车系统，目前已经得到德国两城市许可并投入 日常使用；与戴姆勒合作的 RoboTaxi于 2019年 12月在美国圣何塞市展开运行测试。 近年来，我国一汽、长安、东风、上汽、北汽、吉利、长城等主流整车厂也纷纷发布具备 L3、 L4 级自动驾驶功能汽车的量产计 划。 我国智能网联汽车测试示范区建设初具成效，测试 体系逐步形成，中央及地方相关主管部门陆续出台道路测试管理规范和实施细则，在项目支持、 测试示范区建设、道路测试与应用示范等方面营造良好的生态环境 14。 我国许多省市和企业积极探索智能网联汽车的应用示范和商业化落地，广州、长沙、沧州、 上海、北京等地的道路测试实施细则已列明载人测试的具体条款，并陆续颁发载人测试牌照或 示范应用牌照（如图 2-2）。 图 2-2 我国省市开启载人测试及示范应用时间表示意图 本白皮书根据现阶段国内外智能网联汽车道路测试及应用示范的行驶区域，基于自动驾驶 功能设计运行范围，可划分为五大连续应用场景：高速 /环路、市内运行、泊车 /取车、封闭园 区和城际 /郊区，并梳理五大应用场景下国内外开展应用示范的企业、车型和具体场景等情况， 如表 2-16。 表 2-16 国内外智能网联汽车应用示范相关情况 解决方案商 类型 场景 /车型 启动时间 载客测试 -应用示范 -运营国家 /省份 /城市 /地区 /范围 车辆数量 / 文远知行 载人 RoboTaxi 2019/12 广州 一级及二级开放测试路段 20 辆 小马智行 载人 RoboTaxi/MKZ 2019/08 2018/12 美国加州尔湾、加州费利蒙运营；广州南沙区 12 辆 30-40 辆 百度 载人 RoboTaxi 2019/09 2019/11 湖南长沙岳麓大道到尖山湖公园 ；河北沧州开发区 45 辆 滴滴 载人 RoboTaxi 2020/07 上海测试示范区内 9 辆 2018年 6月 广州 允许载人测试 2019年 6月 长沙 发放载人测试牌照 2019年 9月 上海 颁发示范应用牌照 2019年 9月 武汉 颁发载人试运营牌照 2019年 11月 沧州 开放载人测试并颁发牌照 2019年 12月 北京 开放载人测试 2020年 5月 重庆 开放载人测试 2020年 8月 深圳 载人应用示范 2020年 8月 海南 允许载人应用示范 除高速场景 2020年 8月 合肥 2021年允许大众开启载 客测试（出行服务试点） 解决方案商 类型 场景 /车型 启动时间 载客测试 -应用示范 -运营国家 /省份 /城市 /地区 /范围 车辆数量 / Waymo/FCA 载人 RoboTaxi/ WaymoOne FCA Pacifica 2018/12 2019/07 美国加州南湾区、亚利桑那州凤 凰城，相对固定区域运营，收费 60 辆 Cruise 载人 RoboTaxi 2020 美国加州、亚利桑那州，相对固定 区域运营，免费 4 辆 AutoX 载人 RoboTaxi/MKZ 2019/06 美国加州圣何塞运营，免费 3 辆 Aurora 载人 RoboTaxi 2020 美国加州、亚利桑那州，相对固定 区域运营，免费 5 辆 ZOOX 载人 RoboTaxi 2020 美国加州、亚利桑那州，相对固定 区域运营，免费 5 辆 东风 载人 园 区景区/Sharing -VAN 2020/06 山东青岛国家海洋实验室园区 6 辆 百度 /金龙 载人 园区景区/Apollo 小巴 2018/11 北京市海淀区海淀公园 ；北京市 首钢园区；河北雄安市市民服务 中心 3 辆 主线科技 /重汽 载物 港口 /集卡 2018/04 2020/08 天津滨海新区天津港 ；深圳妈湾港；浙江宁波舟山港 25 辆 图森 载物 快速 公路 /集卡 2019/04 美国加州、亚利桑那州； 上海临港主城区、物流园区、东海大桥 不祥 赢彻科技 载物 快 速公路 /集卡 2020/04 浙江湖州市德清 不祥 苏宁 /智加科技 载物 园区 /重卡 2020/05 上海奉贤区物流园 不祥 清智科技 载人 园区景区 /通勤车 2017/08 天津东丽区低碳产业园 2 辆 驭势科技 载人 机场车站 /接驳车 2017/03 2019/09 广州白云机场； 北京大兴机场 ；香港国际机场 2 辆 踏歌智行 作业 矿山 /矿卡 2019/08 内蒙古白云鄂博矿山、永顺煤矿 等 13 辆 信息来源：公开资料整理（美国区域为加州 CPUC数据），不完全统计，数据截止 2020 年 9 月 与 Waymo在美国亚利桑那州的 Robotaxi运营收费不同，我国尚不允许 Robotaxi、无人驾 驶卡车等开展运营服务，各地方及企业尚处于特定线路的载人 /载物测试，或者特定区域的应 用示范阶段，且目前高速公路尚未开放测试。 随着 国内外企业 发布具备 L3L4级自动驾驶功能的 智能网联汽车产品量产计划 ， 且 纷纷 开 展应用示范及商业化试运营 ， 行业急需建立完善智能网联汽车产品等级划分及评估准则。 本白 皮书拟以安全性和智能化为出发点，量化 ODD、功能与性能指标 ，评测机构可根据需求抽取相 应的评价元素，构建智能网联汽车产品的评价指标， 指导市场区分自动驾驶功能性能优劣，同 时也可以为企业研发提供方向引导。 2.2 智能网联汽车驾驶辅助功能 评价 体系逐步完善，自动驾驶功能评价体系尚需建立 智能网联汽车从实验室走向量产，需要大量的测试来证明其各项应用功能和性能的稳定性、 鲁棒性、可靠性等。传统车辆测试评价的对象是人 -车二元独立系统，而智能 网联汽车的测试 评价对象变为人 -车 -环境 -任务强耦合系统，从而导致对其的测试和验证变得极具挑战性。传统 的车辆测试手段无法满足智能网联汽车测试与验证的使用需求。随着驾驶自动化等级的提高， 不同等级自动化水平所实现的功能逐级递增，围绕智能网联汽车验证环节所需的标准体系、测 试场地条件 以及 相关测试方法，各国的政府机构、科研院所、相关企业开展了大量研究工作。 目前，各国针对智能网联汽车的驾驶辅助系统已制定了明确的标准法规和测评规程，如 ISO、 NHTSA、 E-NCAP、 C-NCAP、 i-VISTA等都对现有的驾驶辅助系统进 行了测试规定， 如 第一章表 1-2所示， 这些能有效的贯通标准场景的测试流程 。 各国 NCAP 测试评价体系，在 驾驶辅助功能 评价层面， 侧重关注人因造成的道路交通安 全事故，并通过主动安全系统的导入提升道路交通安全性 。如图 2-3，为 E-NCAP 2025 Roadmap， 未来主动安全系统将引入 V2X、驾驶员监控等评价项，设置测试规程。 图 2-3 E-NCAP 2025 Roadmap 在自动驾驶 功能 评价层面 ，随着车辆自动驾驶程度 的 提高，在鼓励新技术推广应用的同时， 应 防范由于消费者误用、滥用、自动驾驶功能缺陷引发新的安全问题 。根据 E-NCAP 2025 Roadmap， 自动驾驶 功能 评价分级将独立于 E-NCAP的主流星级评级方法，提出一个单独的分 级方案，用简单的、描述性的分级来评估功能等级与系统安全，并分阶段实施，首先将重点放 在持续辅助系统上，特别是 HWP和 TJA。 2.3 逐步建立支撑高级别自动驾驶的 基于复杂场景的 全新综合评价体系 随着驾驶自动化等级的提高，针对智能网联汽车的测试已不能将其功能进行拆分，进行单 独功能测试。美国兰德公司的一项研究表明，如图 2-4，在 95%的置信度水平下，要证明自动 驾驶车辆相比于人类驾驶能够减少 20%交通事故死亡率，需要进行约 50 亿英里的公共道路测 试，采用由 100 辆车组成的车队每年 365 天每天 24 小时不间歇的以 25 英里每小时的平均速 度进行测试，大概需要 225年，显示了基于里程的测试方法对于 L3/L4自动驾驶安全性验证的 困境，需要进行测试评价方法的创新。 图 2-4 基于里程测试方法的 L3/L4自动驾驶安全性验证困境 从 ADAS 系统只需满足特定场景下的功能要求，扩展到有条件自动驾驶（ L3）或高度自 动驾驶（ L4）系统等需要满足各类场景的功 能需求，导致用于智能网联汽车测试与验证的场景 数量以几何级数增加，且实际驾驶场景因天气、道路、交通参与者、工况等因素的多变具有复 杂性、随机性和不确定性。此外，由于基于里程测试的方法带来的高成本和低效率等问题，必 须利用测试场景进行针对性的测试和验证，降低里程测试的测试量。 综上，针对高级别 智能网联汽车产品的测试评价方法至关重要，行业急需建立基于复杂场 景的全新综合评价体系 ， 即通过预先设定场景对被测车辆进行测试， 充分和有效地验证车辆的 功能在复杂的驾驶场景下是否满足预期要求。 三、智能网联汽车产品测试评价流程 本测评 流程 主要研究内容包括：应用场景（测什么）；测试场景（在什么环境下测）；测试 方法与技术（用什么方法和手段测）；评价体系（如何评价），本白皮书基于此原则提出构建 智 能网联汽车产品 测试评价 流程 ，如图 3-1所示： 1）应用场景，本 测评流程 优先重点考虑五大连续运行场景：高速 /环路、市内运行、泊车 /取车、封闭园区和城际 /郊区，其中高速 /环路为封闭道路，城际 /郊区为半封闭道路，具有连接 性的道路。不同应用场景具有相对应的连续测评场景、测试方法和评价方法。 2）测试场景：通过自然驾驶数据、标准法规场景、危险工况场景和参数重组场景等数据 来源构建测试场景库，该测试场景包括基础和进阶测试场景，满足基础测试和优化引导的需求。 3）测试方法与技术：采用虚拟仿真测试、封闭场地测试、实际道路测试相结合的测试方 法，通过设置测试条件、测试规程、测试通过条件等，搭建可实现自动驾驶功能与 ODD全覆 盖的测试方法。 4）评价方法：通过安全、体验和 配置 三大维度对智能网联汽车产品的能力进行评价 ，该 三大评价维度和其对应的评价指标包括基础指标和进阶指标，满足基础测试和优化引导的需求。 图 3-1智能网联汽车产品测试评价流程 四、 智能网联汽车 产品 测试 场景的 构建 自动驾驶测试场景是支撑智能网联汽车测试评价技术的核心要素与关键技术，通过场景的 解构与重构对智能网联汽车进行封闭场地测试和虚拟测试已成为业内公认的最佳测试手段，得 到广泛关注。 自动驾驶测试 场景具有无限丰富、极其复杂、不可预测、不可穷尽等特点 ，本章 参考自动驾驶测试场景技术发展与应用 9概述 构建测试场景库的方法。 4.1 测试场景设计方法及要求 自动驾驶测试场景是一定时间和空间范围内 车辆 ODD元素、 OEDR元素、自车元素的综 合信息融合。 本白皮书所述 自动驾驶测试场景应根据五大运行环境，结合场景元素进行 构建 。 例如，在高速公路行驶时的功能场景需要描述道路的几何结构和拓扑结构、与其他交通参与者 的交互以及天气状况等，而在地下停车场行驶则只需要描述建筑物的布局，此时天气条件则不 需要进行详细的描述。另一方面，需要识别 ODD各种使用场景下的安全风险，即基于安全分 析，从系统内部识别可能存在的失效，建立失效场景 。 综上，场景元素主要包含 ODD元素、 OEDR 元素、自车元素和失效元素，如下： 1） ODD元素 ODD元素主要包括道路信息、环境信息和交通参与者。 道路信息通常包括道路类型（主车道、主从车道等）、道路表面（摩擦系数、材质等）、道 路几何（曲率、坡度、交叉口）、交通标志（交通灯与交通标志牌）、道路设施元素（包括隧道、 车站、立交桥、收费站，施工路段）等。 环境信息主要包括天气、光照和连接性等，其中，天气元素包括晴天、雨天、雪天等不同 天气类型以及不同能见度等信息，光照指不同光照度下的环境，如：艳阳天、夜晚、黄昏、不 同灯光照射下的环境等。连接性指自车所处环境的网络连接性， V2X 连接性以及是否支持高 精地图等特性。 交通参与者主要包括机动车、非机动车、行人、障碍物、 动物等。 2） OEDR元素 OEDR是指相应测试场景下自动驾驶系统需要探测的物体或者事件以及应做出的响应，作 为仿真测试场景的关键考察方面，其主要包括交通参与者的类型及运动等信息。如在自车左前 方的行人正在横穿，自车前方的机动车减速等。 3）自车元素 自车元素主要包括自我车辆的类型 、 性能特性和驾驶行为等，如自车为乘用车，最高车速 为 110km/h，正在进行变道操作。 4）失效模式 为保证自动驾驶的安全性， 需 测试车辆的失效响应，通过设置一些失效模式如注入故障、 超出 ODD、传感器失效等，设置超过 ODD 的参数取值等 来 验 证车辆的失效响应能力。例如， 按照感知系统失效（由于安装、环境、车辆等因素导致的感知系统无法准确识别到环境中的风 险）、复杂交通场景（交通流与道路的组合导致本车处于危险的交通环境）、车辆控制失效（如 由于载荷、路面或侧风等原因导致的车辆无法跟随控制指令）等进行分类。 对 智能网联 汽车进行基于场景的各项测试时，构建场景的数据来源多种多样，通过对数据 来源进行分类，可将场景概括为四大类：自然驾驶场景、危险工况场景、标准法规测试场景以 及参数重组测试场景 9。自然驾驶场景 可包含智能网联 汽车所处的人 -车 -环境 -任务等全方位信 息，能够很好地体现测试的随机性、复杂性及典型性区域特点 ， 为测试场景构建中的充分测试 场景 。 危险工况场景 是 智能网联 汽车测试过程中进行自动驾驶控制策略验证的关键部分 ， 为场 景构建中的必要测试场景 。 标准法规测试场景 通过现有的标准、评价规程等构建测试场景 ， 为 场景构建中 验证自动驾驶有效性的 基础测试场景 。 参数重组测试场景 通过对静态要素、动态要 素以及驾驶员行为要素之间不同排列组合及遍历取值 ， 进而补充大量未知工况的测试场景，有 效覆盖自动驾驶功能测试盲区 ， 为场景构建中的补充测试场景。 针对某项 特定 自动驾驶功能设计测试场景， 需定义 自动驾驶 系统的 ODD，即明确系统在 不同类型的道路上、道路的不同位置上、不同的速度范围及其他环境条件下的功能表现，应确 保对自动驾驶系统使用场景的充分覆盖 。 如图 4-1，根据不同自动驾驶系统的设计运行范围，将测试场景分为高速 /环路、市内运行、 泊车 /取车、封闭园区和城际 /郊区五种典型应用场景。每种应用场景下，可在不同抽象程度上 基于 ODD运行设计域、 OEDR事件探测及响应、自车行为及失效模式等元素，提取各类型典 型场景，进行场景参数标注及统计分析，形成逻辑场景，而后基于逻辑场景的参数 分布，大规 模生成具体场景，并以通用场景格式存储，构成数万级测试用例的场景库。 同时对于场景的评价也可以从 ODD、 OEDR、自车行为及失效模式等 4个维度进行量化， 从而对场景进行分级，形成基础测试场景和进阶测试场景，分别实现对智能网联汽车产品准入 的支撑，对市场上智能网联汽车产品测评优化的引导。 图 4-1 测试场景设计示意图 4.2 场景 库 构建 流程及 要求 如图 4-2， 不同数据来源（自然驾驶、危险工况、标准法规、参数重组）的场景用例设计 首先语义描述其操作场景得到功能场景，然后通过参数化定义操作场景的状态空间得到逻辑场 景，接着对操作场景的状态空间参数赋值得到具体场景，最后通过软件建模复现具体场景得到 测试用例。 场景数据 功能场景 逻辑场景 具体场景 测试用例 软件建模语义描述 定义状态空间 赋值状态空间 图 4-2 测试场景用例设计流程 自动驾驶测试场景对自动驾驶研发和测试工作起着重要作用。场景库是场景的载体平台， 通过场景数据采集 、 分析挖掘 、 测试验证等步骤 ， 实现内容闭环 。 通过上述场景元素、场景数 据来源和场景设计方法得到自动驾驶测试场景。对自动驾驶场景进行测试验证 主要是将场景库 内已经构建好的场景抽取出来，用虚拟场景验证、实车场景验证等方法进行验证，确认场景的 真实性、代表性和有效性，从而更好地服务于研发和测试工作，包括模型在环、软件在环、硬 件在环仿真测试，实车场地和道路测试等。与场景相关的测试结果反馈给场景库，对场景的分 析挖掘方法等进行修正，或 者根据需要重构生成场景，更新补充完善场景库。场景库进一步有 效支撑测试研发工作，从而形成场景库构建与应用的正向循环。 五、 智能网联汽车 产品 测试方法 场景建设及功能划分与智能网联汽车仿真测试、场地测试、道路测试密不可分， 如 图 5-1。 虚拟仿真测试应覆盖 ODD 范围内可预测的全部场景，包括不易出现的 边角 场景，覆盖 ODD 范围内全部自动驾驶功能；封闭场地测试应覆盖 ODD范围内的 极限 场景， 如 安全相关的事故 场景和危险场景，覆盖自动驾驶系统正常状态下的典型功能，验证仿真测试结果；真实道路测 试覆盖 ODD范围内典型场景组合的道路，覆盖随机场景及随机要素组合，验证自动驾驶功能 应对随机场景的能力。 图 5-1 不同测试类型验证不同场景功能 示意图 5 总体上，虚拟仿真测试是加速自动驾驶研发过程和保证安全的核心环节，封闭场地测试是 自动驾驶研发过程的有效验证手段，真实道路测试是检测自动驾驶系统性能的必要环节 ,也是 实现自动驾驶商业部署的前置条件。 图 5-2给出了虚拟仿真测试、封闭场地测试、实际道路测试的测试流程图。 测评车型选定后，首先进行审核与虚拟仿真测试，根据是否具备仿真测试条件，进行虚拟 仿真测试或者审核。如果具备虚拟仿真测试条件，则在虚拟仿真测试用例库中依据 5.1.1 虚拟 仿真测试流程进行验证全部声明的 ODD和自动驾驶功能；如果不具备虚拟仿真测试条件，则 依 据第六章评价指标审核全部声明的 ODD和自动驾驶功能。并且根据第六章安全、体验、 配 置 进行综合的审核与仿真测试评价。 图 5-2 智能网联汽车 产品 测试流程 其次进行封闭场地测试， 封闭场地测试用例围绕五大运行场景建设：高速 /环路、市内运 行、城际 /郊区、泊车 /取车、封闭园区； 构建 测试用例 参考 附录 1 安全 元素 。 封闭场地测试依 据声明的 ODD、 自动驾驶功能 在 五大 应用 场景测试 用例库中选取确定 测试 用 例 ， 如 5.2.1封闭 场地测试项目 表 5-2智能网联汽车自动驾驶功能典型测试 用 例， 根据具体车型选定不同的 测试 用 例进行封闭场地测试 。 并且根据第六章 安全、体验、 配置 进行综合的封闭场地测试评价。 实际道路测试 首先需要获取实际道路测试牌照，然后 根据 产品 声明的 ODD确定测试路段。 在测试过程中， 必须达到一定的测试时长和里程，覆盖自动驾驶必备功能 ，充分验证自动驾驶 的功能和性能表现 。 并且根据第六章 安全、体验、 配置 进行综合的实际道路测试评价。 5.1 虚拟仿真 测试 5.1.1 虚拟仿真测试流程 如图 5-3， 针对智能网联汽车 自动驾驶功能的虚拟仿真测试 ，典型的测试流程包括：测试 需求分析、测试资源配置、接口定义、设计测试用例、执行测试 、出具测试报告以及形成评价 结论 等主要环节 12。 1） 测试需求分析： 针对自动驾驶功能， 规范对应的测试对象、测试项目、测试方法、测 试 资源 配置、接口规范、数据存储、评价方案和结果展示的具体要求， 确定虚拟仿真任务的 输入（如虚拟仿真测试对象的数学模型、驾驶自动化系统指标、自动驾驶功能要求以及相应 文档）；确定虚拟仿真任务的输出（如仿真数据、仿真结果分析以及相应文档）， 指导测试 工作的开展。 2）测试资源配置： 根据自动驾驶功能确定虚拟仿真测试所需资源，如人员需求、人员的 责任、仿真模型要求、场地要求、设备需求等；对虚拟仿真系统进行参数设置：包括车辆模型 配置、静态场景配置、动态场景配置、传感器模拟配置、控制器配置等主要过程。 图 5-3 智能网联汽车自动驾驶功能的虚拟仿真测试流程 3）接口定义： 根据模拟仿真测试对象确定用软件或者实物来实现驾驶自动化系统的各部 分，确定仿真系统各部分之间的接口关系，匹配各子系统和单元间接口，包括车辆模型、环境 模型、传感器模型、执行器和控制器之间的接口等。 4） 设计测试用例：根据自动驾驶功能及 ODD（五大应用场景） 设计测试用例，确定测试 方案 ，确定 虚拟仿真测试平台依据的测试规则，先 基础 后进阶高级增加测试场景， 制定通过条 件。 5）执行测试： 虚拟仿真测试包括单一场景输入测试和路网连续里程测试，通过单一场景 输入测试后进行路网连续里程测试。当发现某测试场景结果为不通过时，可终止单项测试或者 重启虚拟仿真测试流程 。 6）出具测试报告： 通过软件进行自动化测试结果的数据处理，并根据规范生成测试报告， 报告应包括测试对象、测试人员、测试时间、测试结果和测试数据等内容。 7）形成评价结论：测试结果应比对标准值和历史数据，形成评价结果的评分。 5.1.2 虚拟仿真测试 基本要求 1. 测试要求 1） 所有的测试项目都应由驾驶自动化系统和算法完成，测试期间不应对系统和算法进行 任何变更调整； 2） 应 说明测试系统的组成及工作原理， 自动驾驶功能 及设计运行 范围 ODD，风险减缓策 略及最小安全状态等 ； 3）依据自动驾驶功能定义及范围设计