自动驾驶的信任危机

保守来说，也许我们距离真正的自动驾驶汽车还有几十年的时间。在此之前，人机共驾可能会成为一种常态。人类不仅要参与实际驾驶，还要扮演“检查员”的角色，密切关注人工智能系统的运行。但就是这种“常态”，一直是自动驾驶行业的“沼泽地带”。当自动驾驶过程中出现紧急情况时，如何让驾驶员及时安全地接管汽车的控制权，是汽车行业长期争论的问题。而这也正是业内迫切需要解决的问题，被称为L3级别的自动驾驶，甚至是L2级别的自动辅助驾驶:用户应该信任这种AI辅助驾驶系统吗？事实上，该行业研究自动化场景中的人类行为已经超过70年了。之前的研究表明，人类在长期交出控制权后，自然会对可信任的自动化机器产生过度的信任。因此，如何平衡用户信任和风险，成为很多车企和自动驾驶公司的“选择”。这让很多车企不得不直接穿越沼泽，放弃这种中级的“L3级自动驾驶”——“与其在技术不成熟的时候把责任转嫁给消费者，不如真的努力直接实现全自动驾驶。但是辅助驾驶功能带来的体验还是有很多让用户“上瘾”的，包括可以不断升级的特斯拉Autopilot系统。事实上，鉴于自动驾驶的安全性，业界对特斯拉颇有微词。上个月，美国国家交通安全委员会(NTSB)发布的一份调查报告显示，3月份在美国佛罗里达州发生的一起致命的特斯拉事故中，事故发生时自动驾驶仪被激活，司机的手没有放在方向盘上。尽管特斯拉官方一直强调Autopilot属于辅助驾驶系统，但驾驶员在开启后仍然要握着方向盘保持注意力。但实际上，在之前的很多致命事故中，几乎所有的车主都处于“拖把”状态，完全把命交给了一套功能还有待完善的智能机器。

错误的特斯拉Autopilot系统使用演示|网络用户“我们接受批评和建议，但我们做出的所有决定都是基于给客户最好的体验。在今年第一季度的电话会议中，埃隆·马斯克(Elon Musk)解释道，“这些严重事故大多发生在经验丰富的司机身上，这种盲目的自信很容易让人放松警惕，从而导致了悲剧的发生。然而，马斯克始终坚信自己的观点:“自动驾驶比任何传统汽车都安全。为了解决这个行业难题，MIT花了三年时间，一亿多实验数据，对“信任”与“风险共担”和“警惕”的关系进行了解释、讨论和进一步拆解。这项研究的论文已经发表(下载地址:http://t.cn/ECAfpUp)。详细记录了本实验的背景、操作方法和结论，并讨论了本研究的局限性。极客公园整理了重点内容，一一分享给大家。麻省理工学院的“信任体系”早在2016年，麻省理工学院运输与物流中心的工作人员就开始了对自动驾驶技术的专项研究。通过收集大量真实驾驶数据，利用深度学习算法进行分析，目的是找出人类与AI的交互机制，即“如何在不牺牲驾驶乐趣的前提下，不断提高道路安全性”。研究对象包括21辆特斯拉Model S (Model S和Model X)、2辆沃尔沃S90、2辆路虎极光和2辆凯迪拉克CT6。MIT工作人员要收集的是这些车辆在自然运行状态下的行驶数据，时间分为长期(行驶时间一年以上)和短期(行驶时间一个月)两个阶段。

实验中使用的不同的Model S，大部分是特斯拉Model S和Model X | MIT，进行了小规模的改装，另外安装了三个摄像头(一个用于监控驾驶员的面部特征，一个用于采集驾驶员的肢体语言，一个主要是采集车前的道路环境信息)。除了高分辨率……这些摄像头提供的视频流，研究人员还会记录来自IMU、GPS、CAN总线信息等的数据。目前，研究仍在继续，参与者99人，驾驶天数11846天，累计行驶里程超过40万英里，采集视频帧55亿帧。这项研究背后的技术是由麻省理工学院工作人员构建的一套软硬件系统RIDER，也称为“实时智能驾驶环境记录系统”，收集和整理数据。这套系统不仅具有灵活的硬件架构，还集成了大量的软件框架，可以借助GPU驱动的计算内核对采集到的传感器数据进行分析，最终得到自动驾驶场景下关于人类驾驶员行为的信息。下图可以帮助我们更好的理解从原始数据采集到最终信息输出的整个过程。高级步骤包括:1)数据排序和同步；2)自动或半自动的数据标注、语义解释和信息提取；3)整体分析和可视化输出

实验中从原始数据采集到最终信息输出的全过程| MIT值得一提的是，MIT团队还在这项研究的基础上，对自动驾驶系统进行了单独的调查，以探究用户在使用自动驾驶的过程中是否会出现功能性警惕性倒退。研究人员从概念上评估了“功能性警惕”这一指标。它衡量的是驾驶员在使用Autopilot的过程中的自我管理能力，比如何时何地选择开启该功能，同时也清楚地了解手动接管车辆的时机。目前，根据数据分析的结果，虽然驾驶员使用自动驾驶仪驾驶的里程占总里程的34.8%，但他们保持着相对较高的功能警惕性。这个结论是基于自动驾驶系统脱离时18928次的标注。通过一定数量级的采样，证明人类驾驶员在使用类似Autopilot这样的人工智能辅助驾驶系统时，仍然能够及时应对一些具有挑战性的场景。

传统的关于驾驶员警惕性与麻省理工学院提出的“功能性警惕性”区别的研究| MIT本实验的主要目的是说明人机交互中常见的警惕性降低模式并不是AI辅助驾驶(也称L2级自动驾驶、半自动驾驶等)中的固有现象)通过分析自动驾驶特斯拉模型产生的真实驾驶数据。这样做的重要意义在于，可能有助于企业设计类似的基于人工智能的驾驶辅助系统，让驾驶员不会过于信任机器，从而导致警惕性急剧下降。在论文的摘要部分，麻省理工学院的工作人员表示，“我希望这项研究能够引起业界的讨论和进一步的深入观察。”即在驾驶辅助系统的设计和应用中，一些功能如何影响所涉及的人类驾驶员。以及我们作为驾驶主体如何在使用类似技术时保持与机器的良好配合而不影响自己的警惕性和控制能力。耗时三年多的实验有什么意义？麻省理工学院的整个研究是基于人工智能和机器人系统快速发展的全球化背景。就汽车而言，如何确保AI应用能够最大限度地保障驾驶安全，有效改善出行体验，而不是增加风险，才是关键。解决类似问题的核心是对人工智能辅助驾驶场景下人类行为有更深入的理解，充分评估驾驶员保持警惕的能力，进一步加深对机器局限性的认识。因为在一个充满不确定性的世界里，信任和风险的平衡非常重要，每一秒的误判都可能导致灾难性的后果。这项研究的重点是特斯拉的自动驾驶系统。根据美国汽车工程学会SAE给出的定义和标准，属于L2级别的自动驾驶系统，可以在人类驾驶员的监督下实现一定程度的自动驾驶。但为了避免过度解读造成误解，麻省理工学院的工作人员在论文中舍弃了“自动驾驶”和“自动化”这两个词，给出了“AI辅助驾驶系统”的定义，以表明Autopilot现阶段并不具备“全自动驾驶能力”，是一个始终需要人类监管的驾驶辅助系统。由于特斯拉是量产车型，Autopilot是目前个人使用率最高的驾驶辅助产品，自然成为最适合研究和理解人类与AI交互方式的对象。参与实验的特斯拉Model S (Model S和Model X)拥有多种先进的驾驶辅助功能，但这项研究主要集中在自适应巡航控制(TACC)和自动转向(Autosteer)上，也就是说，特斯拉可以在三种模式下驾驶:1)手动模式；2)TACC；3)自动驾驶(TACC和自动驾驶同时开启)。数据采样期间，由于特斯拉新一代FSD自动驾驶芯片尚未发布，实验车型分别搭载HW1.0和HW2.0硬件系统。HW1.0包括由Mobileye开发的雷达传感器融合、超声波传感器和单目摄像头系统。而HW2.0拥有8个摄像头，提供车身360°环境感知，探测范围250米，12个升级的超声波传感器和1个前向雷达。在参与数据收集的21辆特斯拉汽车中，有16辆配备了HW1.0，其余5辆为HW2.0，截至目前，自2015年10月特斯拉启动Autopilot以来，特斯拉车型在系统运行状态下的总行驶里程已超过10亿英里。然而，即使拥有如此庞大的里程数据，我们对“自动驾驶系统何时、何地以及如何与人类进行交互”的信息却知之甚少，因此麻省理工学院的研究人员希望借助真实世界的数据进行更客观、更具代表性的分析。如前所述，麻省理工学院团队已经提出了一种评估驾驶员“功能警惕性”的方法，该方法以概念性的方式衡量驾驶员在使用自动驾驶仪过程中的自我管理能力，例如何时何地选择开启该功能，同时也清楚地了解手动接管车辆的时机。在评估自动驾驶系统开启后驾驶员对一些具有挑战性场景的反应能力时，研究人员重点关注“棘手情况”，即如果不注意，可能会导致车辆损坏和人员伤亡。通过对8682遇到“困难场景”的情况分析，结果显示，驾驶员在使用自动驾驶仪的过程中仍然保持着高度的警惕性，符合这种情况的行驶里程占总数据的34.8%。这种对驾驶员选择何时何地使用Autopilot的调查，也是研究驾驶员警惕性的传统方法与麻省理工学院提出的“功能性警惕”的一大区别。这项研究最终得出两个结论:1)在提供的真实驾驶数据中，特斯拉车主使用Autopilot的里程数占了非常高的比例；2)当自动驾驶系统开启时，驾驶员并没有因为过度信任而表现出警惕性的明显降低。简而言之，基于麻省理工学院获得的真实数据，可知用户频繁使用特斯拉Autopilot，在此期间仍保持相应程度的功能警惕。下表通过详细的数据说明了上述第二个结论。保守来说，也许我们距离真正的自动驾驶汽车还有几十年的时间。在此之前，人机共驾可能会成为一种常态。人类不仅要参与实际驾驶，还要扮演“检查员”的角色，密切关注人工智能系统的运行。但就是这种“常态”，一直是自动驾驶行业的“沼泽地带”。当自动驾驶过程中出现紧急情况时，如何让驾驶员及时安全地接管汽车的控制权，是汽车行业长期争论的问题。而这也正是业内迫切需要解决的问题，被称为L3级别的自动驾驶，甚至是L2级别的自动辅助驾驶:用户应该信任这种AI辅助驾驶系统吗？事实上，该行业研究自动化场景中的人类行为已经超过70年了。之前的研究表明，人类在长期交出控制权后，自然会对可信任的自动化机器产生过度的信任。因此，如何平衡用户信任和风险，成为很多车企和自动驾驶公司的“选择”。这让很多车企不得不直接穿越沼泽，放弃这种中级的“L3级自动驾驶”——“与其在技术不成熟的时候把责任转嫁给消费者，不如真的努力直接实现全自动驾驶。但是辅助驾驶功能带来的体验还是有很多让用户“上瘾”的，包括可以不断升级的特斯拉Autopilot系统。事实上，鉴于自动驾驶的安全性，业界对特斯拉颇有微词。上个月，美国国家交通安全委员会(NTSB)发布的一份调查报告显示，3月份在美国佛罗里达州发生的一起致命的特斯拉事故中，事故发生时自动驾驶仪被激活，司机的手没有放在方向盘上。尽管特斯拉官方一直强调Autopilot属于辅助驾驶系统，但驾驶员在开启后仍然要握着方向盘保持注意力。但实际上，在之前的很多致命事故中，几乎所有的车主都处于“拖把”状态，完全把命交给了一套功能还有待完善的智能机器。

错误的特斯拉Autopilot系统使用演示|网络用户“我们接受批评和建议，但我们做出的所有决定都是基于给客户最好的体验。在今年第一季度的电话会议中，埃隆·马斯克(Elon Musk)解释道，“这些严重事故大多发生在经验丰富的司机身上，这种盲目的自信很容易让人放松警惕，从而导致了悲剧的发生。然而，马斯克始终坚信自己的观点:“自动驾驶比任何传统汽车都安全。为了解决这个行业难题，MIT花了三年时间，一亿多实验数据，对“信任”与“风险共担”和“警惕”的关系进行了解释、讨论和进一步拆解。这项研究的论文已经发表(下载地址:http://t.cn/ECAfpUp)。详细记录了本实验的背景、操作方法和结论，并讨论了本研究的局限性。极客公园整理了重点内容，一一分享给大家。麻省理工学院的“信任体系”早在2016年，麻省理工学院运输与物流中心的工作人员就开始了对自动驾驶技术的专项研究。通过收集大量真实驾驶数据，利用深度学习算法进行分析，目的是找出人类与AI的交互机制，即“如何在不牺牲驾驶乐趣的情况下，不断提高道路安全性”。研究对象包括21辆特斯拉Model S (Model S和Model X)、2辆沃尔沃S90、2辆路虎极光和2辆凯迪拉克CT6。MIT工作人员要收集的是这些车辆在自然运行状态下的行驶数据，时间分为长期(行驶时间一年以上)和短期(行驶时间一个月)两个阶段。

迪……实验中使用的传送门Model S，大部分是特斯拉Model S和Model X | MIT，进行了小范围的改装，加装了三个摄像头(一个用于监控驾驶员的面部特征，一个用于采集驾驶员的肢体语言，一个主要是采集车前的道路环境信息)。除了这些摄像头提供的高分辨率视频流，研究人员还将记录来自IMU、GPS、CAN总线信息等的数据。目前，研究仍在继续，参与者99人，驾驶天数11846天，累计行驶里程超过40万英里，采集视频帧55亿帧。这项研究背后的技术是由麻省理工学院工作人员构建的一套软硬件系统RIDER，也称为“实时智能驾驶环境记录系统”，收集和整理数据。这套系统不仅具有灵活的硬件架构，还集成了大量的软件框架，可以借助GPU驱动的计算内核对采集到的传感器数据进行分析，最终得到自动驾驶场景下关于人类驾驶员行为的信息。下图可以帮助我们更好的理解从原始数据采集到最终信息输出的整个过程。高级步骤包括:1)数据排序和同步；2)自动或半自动的数据标注、语义解释和信息提取；3)整体分析和可视化输出

实验中从原始数据采集到最终信息输出的全过程| MIT值得一提的是，MIT团队还在这项研究的基础上，对自动驾驶系统进行了单独的调查，以探究用户在使用自动驾驶的过程中是否会出现功能性警惕性倒退。研究人员从概念上评估了“功能性警惕”这一指标。它衡量的是驾驶员在使用Autopilot的过程中的自我管理能力，比如何时何地选择开启该功能，同时也清楚地了解手动接管车辆的时机。目前，根据数据分析的结果，虽然驾驶员使用自动驾驶仪驾驶的里程占总里程的34.8%，但他们保持着相对较高的功能警惕性。这个结论是基于自动驾驶系统脱离时18928次的标注。通过一定数量级的采样，证明人类驾驶员在使用类似Autopilot这样的人工智能辅助驾驶系统时，仍然能够及时应对一些具有挑战性的场景。

传统的关于驾驶员警惕性与麻省理工学院提出的“功能性警惕性”区别的研究| MIT本实验的主要目的是说明人机交互中常见的警惕性降低模式并不是AI辅助驾驶(也称L2级自动驾驶、半自动驾驶等)中的固有现象)通过分析自动驾驶特斯拉模型产生的真实驾驶数据。这样做的重要意义在于，可能有助于企业设计类似的基于人工智能的驾驶辅助系统，让驾驶员不会过于信任机器，从而导致警惕性急剧下降。在论文的摘要部分，麻省理工学院的工作人员表示，“我希望这项研究能够引起业界的讨论和进一步的深入观察。”即在驾驶辅助系统的设计和应用中，一些功能如何影响所涉及的人类驾驶员。以及我们作为驾驶主体如何在使用类似技术时保持与机器的良好配合而不影响自己的警惕性和控制能力。耗时三年多的实验有什么意义？麻省理工学院的整个研究是基于人工智能和机器人系统快速发展的全球化背景。就汽车而言，如何确保AI应用能够最大限度地保障驾驶安全，有效改善出行体验，而不是增加风险，才是关键。解决类似问题的核心是对人工智能辅助驾驶场景下人类行为有更深入的理解，充分评估驾驶员保持警惕的能力，进一步加深对机器局限性的认识。因为在一个充满不确定性的世界里，信任和风险的平衡非常重要，每一秒的误判都可能导致灾难性的后果。这项研究的重点是特斯拉的自动驾驶系统。根据美国汽车工程学会SAE给出的定义和标准，属于L2级别的自动驾驶系统，可以在人类驾驶员的监督下实现一定程度的自动驾驶。但为了避免过度解读造成误解，麻省理工学院的工作人员在论文中舍弃了“自动驾驶”和“自动化”这两个词，给出了“AI辅助驾驶系统”的定义，以表明Autopilot现阶段并不具备“全自动驾驶能力”，是一个始终需要人类监管的驾驶辅助系统。由于特斯拉是量产车型，Autopilot是目前个人使用率最高的驾驶辅助产品，自然成为最适合研究和理解人类与AI交互方式的对象。参与实验的特斯拉Model S (Model S和Model X)拥有多种先进的驾驶辅助功能，但这项研究主要集中在自适应巡航控制(TACC)和自动转向(Autosteer)上，也就是说，特斯拉可以在三种模式下驾驶:1)手动模式；2)TACC；3)自动驾驶(TACC和自动驾驶同时开启)。数据采样期间，由于特斯拉新一代FSD自动驾驶芯片尚未发布，实验车型分别搭载HW1.0和HW2.0硬件系统。HW1.0包括由Mobileye开发的雷达传感器融合、超声波传感器和单目摄像头系统。而HW2.0拥有8个摄像头，提供车身360°环境感知，探测范围250米，12个升级的超声波传感器和1个前向雷达。在参与数据收集的21辆特斯拉汽车中，有16辆配备了HW1.0，其余5辆为HW2.0，截至目前，自2015年10月特斯拉启动Autopilot以来，特斯拉车型在系统运行状态下的总行驶里程已超过10亿英里。然而，即使拥有如此庞大的里程数据，我们对“自动驾驶系统何时、何地以及如何与人类进行交互”的信息却知之甚少，因此麻省理工学院的研究人员希望借助真实世界的数据进行更客观、更具代表性的分析。如前所述，麻省理工学院团队已经提出了一种评估驾驶员“功能警惕性”的方法，该方法以概念性的方式衡量驾驶员在使用自动驾驶仪过程中的自我管理能力，例如何时何地选择开启该功能，同时也清楚地了解手动接管车辆的时机。在评估自动驾驶系统开启后驾驶员对一些具有挑战性场景的反应能力时，研究人员重点关注“棘手情况”，即如果不注意，可能会导致车辆损坏和人员伤亡。通过对8682遇到“困难场景”的情况分析，结果显示，驾驶员在使用自动驾驶仪的过程中仍然保持着高度的警惕性，符合这种情况的行驶里程占总数据的34.8%。这种对驾驶员选择何时何地使用Autopilot的调查，也是研究驾驶员警惕性的传统方法与麻省理工学院提出的“功能性警惕”的一大区别。这项研究最终得出两个结论:1)在提供的真实驾驶数据中，特斯拉车主使用Autopilot的里程数占了非常高的比例；2)当自动驾驶系统开启时，驾驶员并没有因为过度信任而表现出警惕性的明显降低。简而言之，基于麻省理工学院获得的真实数据，可知用户频繁使用特斯拉Autopilot，在此期间仍保持相应程度的功能警惕。下表通过详细的数据说明了上述第二个结论。

表一-实验者标记自动驾驶剩余次数| MIT麻省理工学院本研究使用的数据来自21辆配备自动驾驶系统的特斯拉车型，总行驶里程为323，384英里。这些模型是私有的。除了上面提到的改装，MIT团队并没有对这些车辆的行驶里程、自动驾驶开启时间、驾驶模式做出任何限制，也没有提供任何建议和指导。如下图所示，该数据集中覆盖的大部分驾驶区域位于大波士顿和新英格兰地区，并增加了从马萨诸塞州到加利福尼亚州和佛罗里达州的额外驾驶数据。

红色代表车辆在手动模式下的情境轨迹，蓝色代表车辆在自动驾驶模式下的行驶轨迹| MIT在手动标注数据的过程中，工作人员需要同时观看从三个摄像头采集的视频数据，而自动驾驶相关系统的状态、车辆的运动学特征等相关信号则是从一条CAN总线输出的信息中采集的。整个数据集包含26，638个关于自动驾驶仪使用的“时间戳”。在这里，自动驾驶时间戳被定义为从驾驶员开启自动驾驶到他由于人为或系统原因离开的一段时间。本研究对“功能性警惕”的分析重点是这个时间戳之前5秒和之后10秒的数据部分。此外，要评估驾驶员的“功能警惕性”，还需要统计导致自动驾驶系统脱离的“关键事件(ce)”。麻省理工学院的研究人员将其分为四类:CE1、CE2、CE3和CE4，其中他们的定义如下:CE1:对于“困难场景”，人类驾驶员因为提前预测或及时反应而主动离开自动驾驶系统；CE2:遇到“困难场景”时，自动驾驶会因为无法解决而自动离开；CE3:突然减速(例如，突然刹车等。)在自动驾驶仪运行过程中，导致系统脱离；CE4:在Autopilot运行时遇到“困难场景”，但没有发生系统脱离或任何事故。我们能找到什么？1.该模式的用法如下图所示。该数据集覆盖了323，384英里的总里程，其中112，427英里是在自动驾驶仪的运行条件下完成的，换算成34.8%的里程和15.1%的运行时间。从这两个图可以看出，Autopilot出现的频率是很高的，驾驶员利用这个系统获得了相应的价值。相反，TACC功能的开启时间只有3%，所以在MIT的研究中，忽略了对这种工况的分析，主要关注手动和自动驾驶模式的对比，因为它们构成了百分之九十七的服务时间。从目前观察到的自动驾驶系统的分离情况来看，自动驾驶还处于技术发展的早期阶段，还存在一些不完善的地方，其可信性现在决定了人类驾驶员的信任度和功能警惕程度。

0

测试车辆在手动、TACC和自动驾驶工况下的使用时间和里程数| MIT 2。自动驾驶仪运行时驾驶员的“功能警惕”在MIT中有所体现。“功能性警惕”的衡量标准需要考察驾驶员是否能及时有效地察觉CE1和CE2的发生。在18928个自动驾驶时间戳中，有8729个被标记为“困难场景”。详情请参考表一的描述。分析这个问题的主要目标是得到标有“处理困难场景太晚了”消息的时间戳数量。这些时间戳指的是未能检测到“关键事件”或对“关键事件”的反应缓慢，导致驾驶员的“功能警惕性”显著下降。从表一提供的信息来看，麻省理工学院研究的数据集没有类似的情况。表二描述了“困难情况”和自动驾驶系统断开的频率。“有弯道”是预测系统分离最常见的原因，“车辆距离车道、墙壁或另一车辆太近”是主动与系统分离最常见的原因。这一数据分析的结果对未来人工智能辅助驾驶系统的设计具有重要的指导作用。毕竟这类产品的目的是高效处理人类驾驶员认为“困难”的驾驶场景。

1

表二——主动离开Autopilot系统情况下的“困难场景”分类及这些场景出现的频率| MIT“不要因为美好的事物不完美而反对它们”在对Autopilot的模式使用和驾驶员的“功能警惕性”进行评估和分析后，MIT的研究人员发现，在调查的数据集中，用户使用Autopilot的频率非常高，但他们并没有过度依赖这个系统，这导致了功能警惕性的显著下降。他们为这个结论提出了两个假设:1)探索心理学；2)产品功能还有待完善。后者可能是我们观察到的司机行为的重要原因。从统计上来说，司机平均每行驶9.2英里就会遇到一次“困难场面”。在这种情况下，驾驶员可以提前预测这种“困难场景”将在何时何地出现，或者及时离开自动驾驶系统，这占总驾驶时间的90.6%。而在另外4.5%的情况下，司机能够立即对系统脱离或“困难场景”做出反应，充分说明他们的“功能警惕性”非常高。下面我们来详细解释一下上述两个假设的原因:1)探索性尝试在MIT研究的数据集中，自动驾驶仪运行的大部分时间和间隔都是在高速公路上自由驾驶产生的，但是自动驾驶仪的一些发车记录发生在普通道路上(比如没有限速要求的区域)。这可能表明用户通常探索相似系统在“设计域”之外工作的能力。这种探索和学习的方式可能会让用户更加了解类似驾驶辅助系统的局限性，然后用它来应对论文中描述的各种“困难场景”。之所以提出这个假设，是基于MIT团队和特斯拉车主的讨论，以及对真实道路行驶数据的分析。未来，通过更多的数据和进一步的分析，这个假设很可能被进一步验证，但也有可能被推翻。2)产品功能还有待完善。根据目前业内获得的共识，自动驾驶作为一种基于人工智能技术的驾驶辅助系统，并没有能力应对驾驶过程中可能出现的任何极端事件。根据麻省理工学院研究的数据，46.2%的系统脱离是由于人类驾驶员的预判或遇到“困难场景”，换算成相应的比例。在自动驾驶仪运行期间，这种脱离平均每9.2英里发生一次。这意味着自动驾驶系统往往会变得“不可靠”，需要人类驾驶员及时接管。所以从工程的角度来说，基于这样的数据，未来的产品应该把这个“错误率”降到更低的水平。简单来说，就是驾驶员知道自动驾驶并不完美，驾驶员在尝试更多自动驾驶的场景，这两点都让驾驶员格外注意。这使得驾驶员的“功能警惕性”不会急剧下降。换句话说，“不要因为一个美好的事物不完美就反对它。”一套性能优秀的AI辅助驾驶系统，可能没有99.99%那么完美，但首先企业要清醒地认识到它的不完美，并将这种认识完整地传递给消费者，不断改进迭代，使其向更完美的方向发展。这是设计产品应该有的逻辑。自动驾驶，前路在哪里？虽然这项麻省理工学院的研究表明，在自动驾驶仪的使用过程中，人类驾驶员的“功能警惕性”并没有大幅衰减。然而，我们可能仍然不清楚如何设计一个类似Autopilot的基于AI的驾驶辅助系统，以最大限度地发挥“功能警惕”的性能。麻省理工学院的研究人员认为，有两个建议可能对驾驶员“功能性警惕”框架的管理产生潜在的有益影响。详见下图。

2

扩展现有“功能警惕”框架的两种方法| MIT 1)第一种是建立反馈闭环机制。它包括驾驶员状态感知和管理的概念，允许机器作为整个系统的监督者监控驾驶员，并在检测到功能性警惕性下降、注意力不集中或任何偏离合理表现的行为时发出警告。为了实现这样的监管，我们可以在方向盘上安装传感器，或者添加基于摄像头的驾驶员监控系统DMS(比如凯迪拉克的超级巡航就配备了类似的技术)。

3

在麻省理工学院的实验中，最好通过安装一个面向驾驶员面部的摄像头来监控驾驶员| MIT2)第二个是配置一个额外的感知控制系统。通过增加第三方系统作为车辆主自动驾驶系统的监管，主驾驶系统可以提供感知和决策功能，同时在出现异常时可以及时提供冗余保护。总的来说，麻省理工学院的两个建议公司……在功能警戒的框架下，更好地管理人和机器的性能。此外，它还有助于在驾驶过程中遇到CE4等“关键事件”时提供额外的保护。由于实验数据库样本数量的限制，该事件尚未被检测到，但它存在于真实的道路环境中。因此，麻省理工学院的工作人员认为这项研究也有一定的局限性。比如基于实验分析无法解释自动驾驶系统的安全性，因为需要分析碰撞相关的数据，也就是说目前的数据量还不够。此外，他们认为像DMS这样的注意力管理系统，如果能够在“功能性警惕”的框架下应用，可以促使驾驶员更加关注道路交通状况。然而，特斯拉CEO埃隆马斯克(Elon Musk)可能不这么认为。他在与麻省理工学院助理研究员Lex Fridman的在线对话中说:如果你有一个系统的可靠性达到或低于人类水平，驱动程序监控是有意义的。但是如果你的系统比人类的好得多，可靠得多，驱动程序监控就没什么用了。“如果这个驾驶辅助系统和人类一样可靠，或者比你更糟糕，那么驾驶员监控系统DMS的存在就是必要的。但如果你用Autopilot，它很棒，比人类可靠得多，所以特斯拉的车上没必要装DMS。采访中，弗里德曼这位马斯克的“迷恋的自信”，也提到了产品的“设计操作区”问题。相比之下，通用凯迪拉克的超级巡航只能在已经完成高精度测绘的固定高速公路区域行驶。从ODD的角度来看，比Autopilot窄很多。

表一-实验者标记自动驾驶剩余次数| MIT麻省理工学院本研究使用的数据来自21辆配备自动驾驶系统的特斯拉车型，总行驶里程为323，384英里。这些模型是私有的。除了上面提到的改装，MIT团队并没有对这些车辆的行驶里程、自动驾驶开启时间、驾驶模式做出任何限制，也没有提供任何建议和指导。如下图所示，该数据集中覆盖的大部分驾驶区域位于大波士顿和新英格兰地区，并增加了从马萨诸塞州到加利福尼亚州和佛罗里达州的额外驾驶数据。

红色代表车辆在手动模式下的情境轨迹，蓝色代表车辆在自动驾驶模式下的行驶轨迹| MIT在手动标注数据的过程中，工作人员需要同时观看从三个摄像头采集的视频数据，而自动驾驶相关系统的状态、车辆的运动学特征等相关信号则是从一条CAN总线输出的信息中采集的。整个数据集包含26，638个关于自动驾驶仪使用的“时间戳”。在这里，自动驾驶时间戳被定义为从驾驶员开启自动驾驶到他由于人为或系统原因离开的一段时间。本研究对“功能性警惕”的分析重点是这个时间戳之前5秒和之后10秒的数据部分。此外，要评估驾驶员的“功能警惕性”，还需要统计导致自动驾驶系统脱离的“关键事件(ce)”。麻省理工学院的研究人员将其分为四类:CE1、CE2、CE3和CE4，其中他们的定义如下:CE1:对于“困难场景”，人类驾驶员因为提前预测或及时反应而主动离开自动驾驶系统；CE2:遇到“困难场景”时，自动驾驶会因为无法解决而自动离开；CE3:突然减速(例如，突然刹车等。)在自动驾驶仪运行过程中，导致系统脱离；CE4:在Autopilot运行时遇到“困难场景”，但没有发生系统脱离或任何事故。我们能找到什么？1.该模式的用法如下图所示。该数据集覆盖了323，384英里的总里程，其中112，427英里是在自动驾驶仪的运行条件下完成的，换算成34.8%的里程和15.1%的运行时间。从这两个图可以看出，Autopilot出现的频率是很高的，驾驶员利用这个系统获得了相应的价值。相反，TACC功能的开启时间只有3%，所以在MIT的研究中，忽略了对这种工况的分析，主要关注手动和自动驾驶模式的对比，因为它们构成了百分之九十七的服务时间。从目前观察到的自动驾驶系统的分离情况来看，自动驾驶还处于技术发展的早期阶段，还存在一些不完善的地方，其可信性现在决定了人类驾驶员的信任度和功能警惕程度。

0

测试车辆在手动、TACC和自动驾驶工况下的使用时间和里程数| MIT 2。自动驾驶仪运行时驾驶员的“功能警惕”在MIT中有所体现。“功能性警惕”的衡量标准需要考察驾驶员是否能及时有效地察觉CE1和CE2的发生。在18928个自动驾驶时间戳中，有8729个被标记为“困难场景”。详情请参考表一的描述。分析这个问题的主要目标是得到标有“处理困难场景太晚了”消息的时间戳数量。这些时间戳指的是未能检测到“关键事件”或对“关键事件”的反应缓慢，导致驾驶员的“功能警惕性”显著下降。从表一提供的信息来看，麻省理工学院研究的数据集没有类似的情况。表二描述了“困难情况”和自动驾驶系统断开的频率。“有弯道”是预测系统分离最常见的原因，“车辆距离车道、墙壁或另一车辆太近”是主动与系统分离最常见的原因。这一数据分析的结果对未来人工智能辅助驾驶系统的设计具有重要的指导作用。毕竟这类产品的目的是高效处理人类驾驶员认为“困难”的驾驶场景。

1

表二——主动离开Autopilot系统情况下的“困难场景”分类及这些场景出现的频率| MIT“不要因为美好的事物不完美而反对它们”在对Autopilot的模式使用和驾驶员的“功能警惕性”进行评估和分析后，MIT的研究人员发现，在调查的数据集中，用户使用Autopilot的频率非常高，但他们并没有过度依赖这个系统，这导致了功能警惕性的显著下降。他们为这个结论提出了两个假设:1)探索心理学；2)产品功能还有待完善。后者可能是我们观察到的司机行为的重要原因。从统计上来说，司机平均每行驶9.2英里就会遇到一次“困难场面”。在这种情况下，驾驶员可以提前预测这种“困难场景”将在何时何地出现，或者及时离开自动驾驶系统，这占总驾驶时间的90.6%。而在另外4.5%的情况下，司机能够立即对系统脱离或“困难场景”做出反应，充分说明他们的“功能警惕性”非常高。下面我们来详细解释一下上述两个假设的原因:1)探索性尝试在MIT研究的数据集中，自动驾驶仪运行的大部分时间和间隔都是在高速公路上自由驾驶产生的，但是自动驾驶仪的一些发车记录发生在普通道路上(比如没有限速要求的区域)。这可能表明用户通常探索相似系统在“设计域”之外工作的能力。这种探索和学习的方式可能会让用户更加了解类似驾驶辅助系统的局限性，然后用它来应对论文中描述的各种“困难场景”。之所以提出这个假设，是基于MIT团队和特斯拉车主的讨论，以及对真实道路行驶数据的分析。未来，通过更多的数据和进一步的分析，这个假设很可能被进一步验证，但也有可能被推翻。2)产品功能还有待完善。根据目前业内获得的共识，自动驾驶作为一种基于人工智能技术的驾驶辅助系统，并没有能力应对驾驶过程中可能出现的任何极端事件。根据麻省理工学院研究的数据，46.2%的系统脱离是由于人类驾驶员的预判或遇到“困难场景”，换算成相应的比例。在自动驾驶仪运行期间，这种脱离平均每9.2英里发生一次。这意味着自动驾驶系统往往会变得“不可靠”，需要人类驾驶员及时接管。所以从工程的角度来说，基于这样的数据，未来的产品应该把这个“错误率”降到更低的水平。简单来说，就是驾驶员知道自动驾驶并不完美，驾驶员在尝试更多自动驾驶的场景，这两点都让驾驶员格外注意。这使得驾驶员的“功能警惕性”不会急剧下降。换句话说，“不要因为一个美好的事物不完美就反对它。”一套性能优秀的AI辅助驾驶系统，可能没有99.99%那么完美，但首先企业要清醒地认识到它的不完美，并将这种认识完整地传递给消费者，不断改进迭代，使其向更完美的方向发展。这是设计产品应该有的逻辑。自动驾驶，前路在哪里？虽然这项麻省理工学院的研究表明，在自动驾驶仪的使用过程中，人类驾驶员的“功能警惕性”并没有大幅衰减。然而，我们可能仍然不清楚如何设计一个类似Autopilot的基于AI的驾驶辅助系统，以最大限度地发挥“功能警惕”的性能。麻省理工学院的研究人员认为，有两个建议可能对驾驶员“功能性警惕”框架的管理产生潜在的有益影响。详见下图。

2

扩展现有“功能警惕”框架的两种方法| MIT 1)第一种是建立反馈闭环机制。它包括驾驶员状态感知和管理的概念，允许机器作为整个系统的监督者监控驾驶员，并在检测到功能性警惕性下降、注意力不集中或任何偏离合理表现的行为时发出警告。为了实现这样的监管，我们可以在方向盘上安装传感器，或者添加基于摄像头的驾驶员监控系统DMS(比如凯迪拉克的超级巡航就配备了类似的技术)。

3

在麻省理工学院的实验中，最好通过安装一个面向驾驶员面部的摄像头来监控驾驶员| MIT2)第二个是配置一个额外的感知控制系统。通过增加第三方系统作为车辆主自动驾驶系统的监管，主驾驶系统可以提供感知和决策功能，同时在出现异常时可以及时提供冗余保护。总的来说，麻省理工学院的两个建议公司……在功能警戒的框架下，更好地管理人和机器的性能。此外，它还有助于在驾驶过程中遇到CE4等“关键事件”时提供额外的保护。由于实验数据库样本数量的限制，该事件尚未被检测到，但它存在于真实的道路环境中。因此，麻省理工学院的工作人员认为这项研究也有一定的局限性。比如基于实验分析无法解释自动驾驶系统的安全性，因为需要分析碰撞相关的数据，也就是说目前的数据量还不够。此外，他们认为像DMS这样的注意力管理系统，如果能够在“功能性警惕”的框架下应用，可以促使驾驶员更加关注道路交通状况。然而，特斯拉CEO埃隆马斯克(Elon Musk)可能不这么认为。他在与麻省理工学院助理研究员Lex Fridman的在线对话中说:如果你有一个系统的可靠性达到或低于人类水平，驱动程序监控是有意义的。但是如果你的系统比人类的好得多，可靠得多，驱动程序监控就没什么用了。“如果这个驾驶辅助系统和人类一样可靠，或者比你更糟糕，那么驾驶员监控系统DMS的存在就是必要的。但如果你用Autopilot，它很棒，比人类可靠得多，所以特斯拉的车上没必要装DMS。采访中，弗里德曼这位马斯克的“迷恋的自信”，也提到了产品的“设计操作区”问题。相比之下，通用凯迪拉克的超级巡航只能在已经完成高精度测绘的固定高速公路区域行驶。从ODD的角度来看，比Autopilot窄很多。不过在他看来，这种产品设计的逻辑有利有弊。好处是特斯拉车主可以充分了解Autopilot系统的局限性，尤其是在开始的时候，借助仪表显示屏的信息，可以对可实现的驾驶辅助功能有足够的了解。但缺点是Autopilot几乎可以用在任何领域。对此，马斯克回应道，“只要系统能够感知道路，就是自动驾驶可以运行的区域。”他还指出，“老实说，我认为让人们驾驶两台沉重的死亡机器是疯狂的。在未来，人们肯定会被剥夺驾驶权。到时候，你想去哪里，汽车都会通过自动驾驶来实现。当被问及在技术层面上实现全自动驾驶需要解决哪些问题时，马斯克的回答颇为有趣。他说，“我们不久前推出的FSD计算平台已经投入量产，具备了实现全自动驾驶的基础计算能力。剩下的神经网络和控制软件可以通过后续的OTA不断迭代。所以未来特斯拉车型的软件能力会有突破，自动驾驶系统的可靠性会大大提高。以后只需要监管层的许可就可以了。马斯克甚至将购买特斯拉比作“投资未来”。他认为“特斯拉是一个具有升值能力的产品。当问题回到“人”的焦点时，弗里德曼认为，目前正在进行路测的公司，如Waymo和优步，只是技术上称之为L4级自动驾驶。事实上，它们属于设计逻辑不同的L2级系统，因为总会有一名安全官员参与整个过程，并随时监控机器的运行。于是他问了马斯克这样一个问题，“既然你说特斯拉的Autopilot具备了自动驾驶的计算能力，那你认为什么时候可以做到真正的无人驾驶，没有人类的监管？对此，马斯克回答道，“从现在开始，Autopilot至少需要6个月的时间来监控驾驶员是否把手放在方向盘上。而且主要的问题是，从政府监管部门的角度来看，自动驾驶需要达到比人类驾驶更高的安全程度，才能取消人的驾驶权。在这个问题上，业内有很多争论。你需要大量的数据来证明机器开车比人安全得多。在我看来，这个比例需要达到200%或者300%。“至于我是如何得到这个数据的，”马斯克回答道，“主要是基于每英里的事故频率。目前从规模上看，我们没有那么多关于交通死亡事故的数据，所以主要是基于交通事故率来分析。其他的，比如受伤的可能性……包括永久性伤害或死亡的可能性，也在分析范围之内。最后算出来的比例，至少机器比人可靠200%以上，可能不需要监督。Autopilot的致命弱点其实是针对Autopilot的安全性，业界对特斯拉颇有微词。尤其是在上个月举行的投资者大会上，马斯克为朋友“使用激光雷达”的言论，引起了自动驾驶技术领域的热议。但是，就像麻省理工学院研究给出的结论一样，Autopilot还存在很多不足，需要不断改进，所以驾驶员需要在系统运行时实时监控车辆。一旦出现危险征兆或困难情况，人工接管是最安全的。上个月，美国国家交通安全委员会(NTSB)发布的一份调查报告显示，3月份在美国佛罗里达州发生的一起致命的特斯拉事故中，事故发生时自动驾驶仪被激活，司机的手没有放在方向盘上。尽管特斯拉官方一直强调Autopilot属于辅助驾驶系统，但驾驶员在开启后仍然要握着方向盘保持注意力。但实际上，在之前的很多致命事故中，几乎所有的车主都处于“拖把”状态，完全把命交给了一套功能还有待完善的智能机器。这也是为什么MIT团队给出了额外的建议，希望Autopilot能够配置相应的驾驶员监控系统，同时也要做相应的冗余配置。一旦驾驶员松开方向盘，立即进行声光预警是非常必要的。但在马斯克看来，自动驾驶的能力远在人类驾驶员之上，不需要像DMS那样增加额外的功能。而这种对自己产品的“自信”映射到产品上，也成为了Autopilot的致命弱点。自2018年第三季度以来，特斯拉发布了一系列车辆安全报告，提供本季度特斯拉车辆造成的事故数量(无论是否启用自动驾驶)。从官网获得的信息显示，2018年第三季度，自动驾驶开启的平均事故率为334万英里，而手动模式的平均事故率为192万英里。Q1 2019年最新数据显示，两项数据均有所下降，分别为1例/287万英里和1例/176万英里。

0

特斯拉每季度在官网发布车辆安全报告|特斯拉。根据美国国家交通和公路安全管理局(NHTSA)发布的最新数据，美国乘用车的事故率平均为每43.6万英里一次，这包括了所有有和没有类似自动驾驶系统的车辆。相比之下，特斯拉似乎仍然无愧于“世界上最安全的汽车”的称号。虽然自动驾驶系统还有很多不足，但毫无疑问，它极大地改变了用户的驾驶体验。比如特斯拉去年10月已经在北美开放了Navigate on Autopilot功能，支持高速公路闸口自动进出，同时可以实现自动并线，在受限场景(高速公路等)下接近L3自动驾驶能力。).在上个月面向投资者的“自主日”活动中，马斯克表示“全自动驾驶的目标将在2020年实现。虽然外界对这种说法充满质疑，但在FSD计算平台的加持下，自动驾驶仪的自动化能力正在向着更高的层次迭代，这是不争的事实。但更重要的是，一个优秀的AI辅助驾驶系统可能达不到99.99%的完美，但首先企业要清楚地认识到它的不完美，并将这种认识完整地传递给消费者，不断改进迭代，使其向更完美的方向发展。这是设计产品应该有的逻辑。不过在他看来，这种产品设计的逻辑有利有弊。好处是特斯拉车主可以充分了解Autopilot系统的局限性，尤其是在开始的时候，借助仪表显示屏的信息，可以对可实现的驾驶辅助功能有足够的了解。但缺点是Autopilot几乎可以用在任何领域。对此，马斯克回应道，“只要系统能够感知道路，就是自动驾驶可以运行的区域。”他还指出，“要磨练……，我觉得让人开两部重型死亡机器太疯狂了。在未来，人们肯定会被剥夺驾驶权。到时候，你想去哪里，汽车都会通过自动驾驶来实现。当被问及在技术层面上实现全自动驾驶需要解决哪些问题时，马斯克的回答颇为有趣。他说，“我们不久前推出的FSD计算平台已经投入量产，具备了实现全自动驾驶的基础计算能力。剩下的神经网络和控制软件可以通过后续的OTA不断迭代。所以未来特斯拉车型的软件能力会有突破，自动驾驶系统的可靠性会大大提高。以后只需要监管层的许可就可以了。马斯克甚至将购买特斯拉比作“投资未来”。他认为“特斯拉是一个具有升值能力的产品。当问题回到“人”的焦点时，弗里德曼认为，目前正在进行路测的公司，如Waymo和优步，只是技术上称之为L4级自动驾驶。事实上，它们属于设计逻辑不同的L2级系统，因为总会有一名安全官员参与整个过程，并随时监控机器的运行。于是他问了马斯克这样一个问题，“既然你说特斯拉的Autopilot具备了自动驾驶的计算能力，那你认为什么时候可以做到真正的无人驾驶，没有人类的监管？对此，马斯克回答道，“从现在开始，Autopilot至少需要6个月的时间来监控驾驶员是否把手放在方向盘上。而且主要的问题是，从政府监管部门的角度来看，自动驾驶需要达到比人类驾驶更高的安全程度，才能取消人的驾驶权。在这个问题上，业内有很多争论。你需要大量的数据来证明机器开车比人安全得多。在我看来，这个比例需要达到200%或者300%。“至于我是如何得到这个数据的，”马斯克回答说，“主要是基于每英里的事故频率。目前从规模上看，我们没有那么多关于交通死亡事故的数据，所以主要是基于交通事故率来分析。其他的，比如受伤的概率，包括永久受伤或者死亡的可能性，也在分析的范围之内。最后算出来的比例，至少机器比人可靠200%以上，可能不需要监督。Autopilot的致命弱点其实是针对Autopilot的安全性，业界对特斯拉颇有微词。尤其是在上个月举行的投资者大会上，马斯克为朋友“使用激光雷达”的言论，引起了自动驾驶技术领域的热议。但是，就像麻省理工学院研究给出的结论一样，Autopilot还存在很多不足，需要不断改进，所以驾驶员需要在系统运行时实时监控车辆。一旦出现危险征兆或困难情况，人工接管是最安全的。上个月，美国国家交通安全委员会(NTSB)发布的一份调查报告显示，3月份在美国佛罗里达州发生的一起致命的特斯拉事故中，事故发生时自动驾驶仪被激活，司机的手没有放在方向盘上。尽管特斯拉官方一直强调Autopilot属于辅助驾驶系统，但驾驶员在开启后仍然要握着方向盘保持注意力。但实际上，在之前的很多致命事故中，几乎所有的车主都处于“拖把”状态，完全把命交给了一套功能还有待完善的智能机器。这也是为什么MIT团队给出了额外的建议，希望Autopilot能够配置相应的驾驶员监控系统，同时也要做相应的冗余配置。一旦驾驶员松开方向盘，立即进行声光预警是非常必要的。但在马斯克看来，自动驾驶的能力远在人类驾驶员之上，不需要像DMS那样增加额外的功能。而这种对自己产品的“自信”映射到产品上，也成为了Autopilot的致命弱点。自2018年第三季度以来，特斯拉发布了一系列车辆安全报告，提供本季度特斯拉车辆造成的事故数量(无论是否启用自动驾驶)。根据从官网获得的信息，2018年第三季度，自动驾驶仪开启时的平均事故率为334万英里……而手动模式下的平均事故率为192万英里。Q1 2019年最新数据显示，两项数据均有所下降，分别为1例/287万英里和1例/176万英里。

0

特斯拉每季度在官网发布车辆安全报告|特斯拉。根据美国国家交通和公路安全管理局(NHTSA)发布的最新数据，美国乘用车的事故率平均为每43.6万英里一次，这包括了所有有和没有类似自动驾驶系统的车辆。相比之下，特斯拉似乎仍然无愧于“世界上最安全的汽车”的称号。虽然自动驾驶系统还有很多不足，但毫无疑问，它极大地改变了用户的驾驶体验。比如特斯拉去年10月已经在北美开放了Navigate on Autopilot功能，支持高速公路闸口自动进出，同时可以实现自动并线，在受限场景(高速公路等)下接近L3自动驾驶能力。).在上个月面向投资者的“自主日”活动中，马斯克表示“全自动驾驶的目标将在2020年实现。虽然外界对这种说法充满质疑，但在FSD计算平台的加持下，自动驾驶仪的自动化能力正在向着更高的层次迭代，这是不争的事实。但更重要的是，一个优秀的AI辅助驾驶系统可能达不到99.99%的完美，但首先企业要清楚地认识到它的不完美，并将这种认识完整地传递给消费者，不断改进迭代，使其向更完美的方向发展。这是设计产品应该有的逻辑。

标签：特斯拉凯迪拉克Model XModel S发现

汽车资讯热门资讯