为什么说“行为预测”是自动驾驶终极杀器

图片来自“东方IC”。行为预测的重要性是什么？自动驾驶汽车在行驶过程中，可能要一直回答这个问题——“未来五秒内，我身边的车辆、行人、自行车会做什么？这个问题的学名是“行为预测”。行为预测的重要性是什么？自动驾驶公司Pronto的首席执行官安东尼·莱万多夫斯基(Anthony Levandowski)讲述了他的看法:他认为自动驾驶原型车在“预测”能力上的不足是其冲向4/5级的绊脚石。莱万多夫斯基在Medium上发表的一篇博文中写道:“现在没有人能达到4/5级，因为今天的软件还不足以预测未来。在这方面，软件与人类的直觉相差甚远，行为预测才是道路安全最重要的因素。莱万多夫斯基在接受TechCrunch采访时重申了这一观点:“如果你想在测试车每次‘脱离’的时候都分析其背后的故事，并找到真正的原因，那么最终的结果将是软件故障。即使是比较成熟的公司也很难避免，因为在复杂的环境下，车辆很容易产生误解或者沟通问题。目前我们的问题不是能不能找到更好的传感器，而是如何解决预测这个大问题。另一个持相同观点的人是克里斯·厄姆森。2013年至2016年，他是Waymo的实际掌舵者，现在是自动驾驶公司Aurora的CEO。在最近的一次采访中，厄姆森告诉麻省理工学院的助理教授莱克斯·弗里德曼(Lex Fridman)，“如果我有一根魔杖，我会用魔法改进系统的哪一部分，从而加速自动驾驶技术的落地？当然是车辆的感知和预测能力。换句话说，如果你明天能给我一个完美的模型，告诉车辆刚刚发生了什么，现在正在发生什么，接下来的五秒内会发生什么，那情况就大不一样了。数据越多，准确率越高？Waymo、特斯拉等头部公司都在尝试用深度学习解决行为预测问题，即用数据集训练深度神经网络。对于深度神经网络来说，数据越多，准确率越高，于是各公司开始了疯狂的“喂数据”模式。特斯拉AI总监Andrej Karpathy在今年3月的Autonomy Day上讲述了特斯拉是如何玩转深度学习的:在类似于目标检测的深度学习应用中，许多公司都会遇到瓶颈，因为他们需要付钱给人来手动标记图片或视频。以目标检测为例。注入神经网络的数据可能是一帧包含行人的视频，公司想要的输出是自动标注行人。当然，训练神经网络也是一项劳动密集型的工作。如果想通过训练得到这样的效果，我们就要不断地向神经网络输入上千张类似的图片，并在图片中标注出哪些行人，而这个标注过程全部由人手工完成。有了行为预测，再加上过去5秒周围车辆的输入数据，输出端可能会给出未来5秒周围环境变化的预测。这10秒钟的记录将成为你手中的输入输出对，是训练深度神经网络的好“食物”。至于人工标注，完全没必要。采用这种行为预测的方法后，甚至不需要上传视频，车辆可以直接保存周围环境的抽象记录。在自动驾驶系统看来，这种抽象记录其实和人工标注是一样的。在行为预测方面，特斯拉的优势在于每天在路上忙碌的50多万辆电动汽车——这类车辆配备了Autopilot的第二代和第三代硬件。换句话说，特斯拉使用了车上安装的八个摄像头、前雷达和神经网络计算机来获取车辆在行驶过程中的数据记录，这些数据也可以通过Wi-Fi传回特斯拉。想象一下，如果这50万辆汽车发回的是抽象的记录，而不是原始的视频，那么特斯拉的行为预测训练数据库有多强大。当然，车辆获得的数据不会被塞进车队，筛选是一个必经的过程。比如把行为预测神经网络所犯的错误作为训练数据来对待，这是非常有意义的，而且这个纠错的过程是一条进步的捷径，比喂各种随机数据要有效的多。简而言之，数据不在数量上。从“长尾理论”的角度来看，即使犯错误的概率……行为预测很低，比如每100万英里一次，特斯拉的团队每个月行驶10亿英里就能得到1000个“负面模型”。这1000条数据虽然小，但绝对有价值。计算能力的提高可以提升神经网络的性能。虽然整个行业都像打了鸡血一样，但是谁也不确定全自动驾驶什么时候能实现，也许是明年，也许是十几年后。但华尔街巨头们认为，一旦全自动驾驶普及，自动驾驶出租车行业将会普及，最终将会孕育出年收入超万亿的超市。在如此巨大的诱惑下，大家不得不深挖深度学习、神经网络、行为预测。ARK Invest的财务模型预测，如果特斯拉明年实现全自动驾驶，正如马斯克所说，长期来看，特斯拉的股价将上涨20倍。即使没有信用，通用汽车的自动驾驶部门Cruise仍然估值190亿美元。去年8月，摩根士丹利大胆给了way mo 1750亿美元的超高估值。今年，投资银行Jefferies直接抛出了2500亿美元的新价格，称未来十年，Waymo将能够站在这个台阶上。最近有消息称，Waymo有意寻求外部投资者，估值在几个Cruise之首。如果行为预测真的是自动驾驶最难也是最重要的问题，而特斯拉在这方面还领先于Waymo和Cruise等公司，那么特斯拉在自动驾驶出租车和自动驾驶卡车的市场上将前途无限，其股价也应该会大大超过Waymo或Cruise(现在特斯拉的市值只有420亿美元)。即使永远无法实现全自动驾驶，特斯拉也可以在半自动驾驶市场玩得很好。现在特斯拉推出了Autopilot导航、增强召唤等功能。如果未来增加新的半自动驾驶功能，特斯拉的电动汽车将有自己独特的识别。如果其他公司不能像特斯拉一样建立数据采集车队，那么在深度学习方面与马斯克竞争完全是疯了，而深度学习的“深度”决定了半自动驾驶技术的先进与否。长期以来，许多批评者认为特斯拉只是一家电动汽车公司。只要竞争对手愿意努力，迟早会拿出更好的产品。其实马斯克的眼光并没有那么短视，自动驾驶才是特斯拉真正的“护城河”。从公司文化来看，特斯拉在市场上的“杀手锏”其实都是硬件公司。例如，特斯拉在2012年开始了OTA升级，这些汽车制造商现在才赶上来。从长远来看，这也是特斯拉保持竞争力的一大动力来源。埃隆马斯克(Elon Musk)表示，特斯拉的神经网络和其他自动驾驶相关软件实际上只占据了特斯拉新定制芯片FSD的5%-10%的计算能力。鉴于计算能力可以提振神经网络的性能，特斯拉未来将继续挖掘潜力。在去年第三季度的财报电话会议上，特斯拉AI总监安德烈·卡帕西(Andrej Karpathy)表示，更强的神经网络已经在路上，FSD是其坚强的后盾。近日，马斯克还在推特上指出，从今年第四季度开始，搭载FSD的车型将会在功能性方面逐渐甩开其他车型。在懂行的人看来，当马斯克把FSD的性能挤压到极限的时候，特斯拉将迎来一个新的阶段。鉴于卡帕西在公开场合频繁释放信号，特斯拉的新型神经网络一定是秘密研发了很久。这个“小核弹”不仅更大，而且在架构上也做了优化(比如升级人工神经元和连接方式)。对于特斯拉来说，性能的几何级提升是其对神经网络最大的期待。如何把视觉、预测、模拟织成一张网？如果计算视觉神经网络未能检测到道路上的汽车，下游的行为预测神经网络也会“失明”汽车。同样，这一过程产生的摘要记录的质量也会恶化。所以无论是训练还是推理，计算视觉的提升都意味着行为预测的进步。这个原理也适用于模仿学习，特斯拉正在利用这项技术进行路径预测。在模仿学习的过程中，神经网络会“吸入”一些输入数据，可能是原始视频，但我是afrai……它更像是计算视觉神经网络生成的抽象记录。当整个神经网络路径下行时，每个人都想在输出端得到车辆下一步应该做什么的指令，然后这些数据会被传输到控制软件，决定给出什么命令(刹车、转向或加速)。拥有成千上万的特斯拉车主，特斯拉可以收集到丰富的产出数据。将这些数据与抽象记录结合起来，我们可以生成用于训练的“输入-输出”。在模仿学习中，这种“输入-输出”对实际上是“状态-动作”，包括世界或周围环境的状态和人类驾驶员的动作。类似于行为预测，模仿学习的“输入-输出”对不需要人类人工标注数据。有了足够多的“状态-动作”对，神经网络就可以从人类驾驶员那里学习状态和动作之间的关系。再加上足够的训练，神经网络可以找到自己发号施令的状态，学会驾驶。如果在模仿学习中使用抽象记录，训练和推理中计算视觉误差的减少也意味着模仿学习误差的减少。此外，提高行为预测能力也能促进模仿学习。换句话说，模仿学习中使用的输入数据不一定来自计算视觉网络，行为预测网络也可以贡献额外的输入数据。

(司机网的组件:FeatureNet和AgentRNN)Waymo的模仿学习网络司机网遵循的就是这个逻辑。它把视觉、预测、模拟编织成网之后，模仿学习可以有两个参考目标，学习人类驾驶员的动作效率更高。为了找出环境状态与驾驶员行为之间的关系，模仿网络必须与人类驾驶员置于相同的环境中，并获得相同的信息。众所周知，人类开车不仅靠视觉，还有很强的预测能力。在自动驾驶系统中，计算视觉网络负责重建人眼看到的车辆外部环境；行为预测网络需要在人脑中重现整个预测过程。两大网络的目的是想出正确的驾驶策略。在未来，自动驾驶汽车可能会直接从像素中获取相关信息，但目前机器学习工程师仍然倾向于将任务分配给视觉、预测和模仿。因此，预测能力(作为输入)的提高也意味着模仿能力的提高，而视觉能力(作为输入)的提高可以使预测和模仿都受益。行为预测是自动驾驶的终极杀手。在讨论数据收集的时候，很多人都不看好特斯拉的“超级团队”，因为他们认为特斯拉负担不起人工标记。可惜特斯拉根本没玩监督学习，行为预测才是终极杀手锏。此外，特斯拉还采用模仿学习，不需要人工标注。事实上，即使我们选择用传统的监督学习来研究计算视觉，特斯拉的车队也能带来各种有价值的数据(包括各种极端情况)。比如用于识别马匹的深度学习网络，也可以在车上运行。一旦它认为有马出现，它就可以启动相机快速拍照。显然，这种方法可以用来识别相对罕见的物体。目前业界正在攻克计算视觉的自监督学习技术。有了它，训练信号可以完全取自数据本身，无需人工标注。据汽车之心报道，在深度感知领域，特斯拉已经开始尝试自我监督学习。上面的讨论可能有些晦涩，但特斯拉未来的价值几何其实取决于这些技术。面对自动驾驶万亿美元的市场，每个人都想成为领导者。这意味着数千亿美元的估值。图片来自“东方IC”。行为预测的重要性是什么？自动驾驶汽车在行驶过程中，可能要一直回答这个问题——“未来五秒内，我身边的车辆、行人、自行车会做什么？这个问题的学名是“行为预测”。行为预测的重要性是什么？自动驾驶公司Pronto的首席执行官安东尼·莱万多夫斯基(Anthony Levandowski)讲述了他的看法:他认为自动驾驶原型车在“预测”能力上的不足是其冲向4/5级的绊脚石。莱万多夫斯基在Medium上发表的一篇博文中写道:“现在没有人能达到4/5级，因为今天的软件还不足以预测未来。在这方面，软件与人类的直觉相差甚远，行为预测才是道路安全最重要的因素。莱万多夫斯基在接受TechCrunch采访时重申了这一观点:“如果你想在测试车每次‘脱离’的时候都分析其背后的故事，并找到真正的原因，那么最终的结果将是软件故障。即使是比较成熟的公司也很难避免，因为在复杂的环境下，车辆很容易产生误解或者沟通问题。目前我们的问题不是能不能找到更好的传感器，而是如何解决预测这个大问题。另一个持相同观点的人是克里斯·厄姆森。2013年至2016年，他是Waymo的实际掌舵者，现在是自动驾驶公司Aurora的CEO。在最近的一次采访中，厄姆森告诉麻省理工学院的助理教授莱克斯·弗里德曼(Lex Fridman)，“如果我有一根魔杖，我会用魔法改进系统的哪一部分，从而加速自动驾驶技术的落地？当然是车辆的感知和预测能力。换句话说，如果你明天能给我一个完美的模型，告诉车辆刚刚发生了什么，现在正在发生什么，接下来的五秒内会发生什么，那情况就大不一样了。数据越多，准确率越高？Waymo、特斯拉等头部公司都在尝试用深度学习解决行为预测问题，即用数据集训练深度神经网络。对于深度神经网络来说，数据越多，准确率越高，于是各公司开始了疯狂的“喂数据”模式。特斯拉AI总监Andrej Karpathy在今年3月的Autonomy Day上讲述了特斯拉是如何玩转深度学习的:在类似于目标检测的深度学习应用中，许多公司都会遇到瓶颈，因为他们需要付钱给人来手动标记图片或视频。以目标检测为例。注入神经网络的数据可能是一帧包含行人的视频，公司想要的输出是自动标注行人。当然，训练神经网络……ks也是一个劳动密集型的工作。如果想通过训练得到这样的效果，我们就要不断地向神经网络输入上千张类似的图片，并在图片中标注出哪些行人，而这个标注过程全部由人手工完成。有了行为预测，再加上过去5秒周围车辆的输入数据，输出端可能会给出未来5秒周围环境变化的预测。这10秒钟的记录将成为你手中的输入输出对，是训练深度神经网络的好“食物”。至于人工标注，完全没必要。采用这种行为预测的方法后，甚至不需要上传视频，车辆可以直接保存周围环境的抽象记录。在自动驾驶系统看来，这种抽象记录其实和人工标注是一样的。在行为预测方面，特斯拉的优势在于每天在路上忙碌的50多万辆电动车——这类车辆搭载了Autopilot的第二代和第三代硬件。换句话说，特斯拉使用了车上安装的八个摄像头、前雷达和神经网络计算机来获取车辆在行驶过程中的数据记录，这些数据也可以通过Wi-Fi传回特斯拉。想象一下，如果这50万辆汽车发回的是抽象的记录，而不是原始的视频，那么特斯拉的行为预测训练数据库有多强大。当然，车辆获得的数据不会被塞进车队，筛选是一个必经的过程。比如把行为预测神经网络所犯的错误作为训练数据来对待，这是非常有意义的，而且这个纠错的过程是一条进步的捷径，比喂各种随机数据要有效的多。简而言之，数据不在数量上。从“长尾理论”的角度来看，即使做出错误行为预测的概率很低，比如每100万英里一次，特斯拉的团队每个月行驶10亿英里也能得到1000个“负面模型”。这1000条数据虽然小，但绝对有价值。计算能力的提高可以提升神经网络的性能。虽然整个行业都像打了鸡血一样，但是谁也不确定全自动驾驶什么时候能实现，也许是明年，也许是十几年后。但华尔街巨头们认为，一旦全自动驾驶普及，自动驾驶出租车行业将会普及，最终将会孕育出年收入超万亿的超市。在如此巨大的诱惑下，大家不得不深挖深度学习，神经网络，行为预测。ARK Invest的财务模型预测，如果特斯拉明年实现全自动驾驶，正如马斯克所说，长期来看，特斯拉的股价将上涨20倍。即使没有信用，通用汽车的自动驾驶部门Cruise仍然估值190亿美元。去年8月，摩根士丹利大胆给了way mo 1750亿美元的超高估值。今年，投资银行Jefferies直接抛出了2500亿美元的新价格，称未来十年，Waymo将能够站在这个台阶上。最近有消息称，Waymo有意寻求外部投资者，估值在几个Cruise之首。如果行为预测真的是自动驾驶最难也是最重要的问题，而特斯拉在这方面还领先于Waymo和Cruise等公司，那么特斯拉在自动驾驶出租车和自动驾驶卡车的市场上将前途无限，其股价也应该会大大超过Waymo或Cruise(现在特斯拉的市值只有420亿美元)。即使永远无法实现全自动驾驶，特斯拉也可以在半自动驾驶市场玩得很好。现在特斯拉推出了Autopilot导航、增强召唤等功能。如果未来增加新的半自动驾驶功能，特斯拉的电动汽车将有自己独特的识别。如果其他公司不能像特斯拉一样建立数据采集车队，那么在深度学习方面与马斯克竞争完全是疯了，而深度学习的“深度”决定了半自动驾驶技术的先进与否。长期以来，许多批评者认为特斯拉只是一家电动汽车公司。只要竞争对手愿意努力，迟早会拿出更好的产品。其实马斯克的眼光并没有那么短视，自动驾驶才是特斯拉真正的“护城河”。从公司文化来看，特斯拉在市场上的“杀手锏”其实都是硬件公司。比如特斯拉启动了OTA upgra……2012年，这些汽车制造商现在才开始追赶。从长远来看，这也是特斯拉保持竞争力的一大动力来源。埃隆马斯克(Elon Musk)表示，特斯拉的神经网络和其他自动驾驶相关软件实际上只占据了特斯拉新定制芯片FSD的5%-10%的计算能力。鉴于计算能力可以提振神经网络的性能，特斯拉未来将继续挖掘潜力。在去年第三季度的财报电话会议上，特斯拉AI总监安德烈·卡帕西(Andrej Karpathy)表示，更强的神经网络已经在路上，FSD是其坚强的后盾。近日，马斯克还在推特上指出，从今年第四季度开始，搭载FSD的车型将会在功能性方面逐渐甩开其他车型。在懂行的人看来，当马斯克把FSD的性能挤压到极限的时候，特斯拉将迎来一个新的阶段。鉴于卡帕西在公开场合频繁释放信号，特斯拉的新型神经网络一定是秘密研发了很久。这个“小核弹”不仅更大，而且在架构上也做了优化(比如升级人工神经元和连接方式)。对于特斯拉来说，性能的几何级提升是其对神经网络最大的期待。如何把视觉、预测、模拟织成一张网？如果计算视觉神经网络未能检测到道路上的汽车，下游的行为预测神经网络也会“失明”汽车。同样，这一过程产生的摘要记录的质量也会恶化。所以无论是训练还是推理，计算视觉的提升都意味着行为预测的进步。这个原理也适用于模仿学习，特斯拉正在利用这项技术进行路径预测。在模仿学习的过程中，神经网络会“吸入”一些输入数据，这些数据可能是原始视频，但恐怕更像是计算视觉神经网络生成的抽象记录。当整个神经网络路径下行时，每个人都想在输出端得到车辆下一步应该做什么的指令，然后这些数据会被传输到控制软件，决定给出什么命令(刹车、转向或加速)。拥有成千上万的特斯拉车主，特斯拉可以收集到丰富的产出数据。将这些数据与抽象记录结合起来，我们可以生成用于训练的“输入-输出”。在模仿学习中，这种“输入-输出”对实际上是“状态-动作”，包括世界或周围环境的状态和人类驾驶员的动作。类似于行为预测，模仿学习的“输入-输出”对不需要人类人工标注数据。有了足够多的“状态-动作”对，神经网络就可以从人类驾驶员那里学习状态和动作之间的关系。再加上足够的训练，神经网络可以找到自己发号施令的状态，学会驾驶。如果在模仿学习中使用抽象记录，训练和推理中计算视觉误差的减少也意味着模仿学习误差的减少。此外，提高行为预测能力也能促进模仿学习。换句话说，模仿学习中使用的输入数据不一定来自计算视觉网络，行为预测网络也可以贡献额外的输入数据。

(司机网的组件:FeatureNet和AgentRNN)Waymo的模仿学习网络司机网遵循的就是这个逻辑。它把视觉、预测、模拟编织成网之后，模仿学习可以有两个参考目标，学习人类驾驶员的动作效率更高。为了找出环境状态与驾驶员行为之间的关系，模仿网络必须与人类驾驶员置于相同的环境中，并获得相同的信息。众所周知，人类开车不仅靠视觉，还有很强的预测能力。在自动驾驶系统中，计算视觉网络负责重建人眼看到的车辆外部环境；行为预测网络需要在人脑中重现整个预测过程。两大网络的目的是想出正确的驾驶策略。在未来，自动驾驶汽车可能会直接从像素中获取相关信息，但目前机器学习工程师仍然倾向于将任务分配给视觉、预测和模仿。因此，预测能力(作为输入)的提高也意味着模仿能力的提高，而视觉能力(作为输入)的提高可以使预测和模仿都受益。行为预测是自动驾驶的终极杀手。在讨论数据收集的时候，很多人都不看好特斯拉的“超级团队”，因为他们认为特斯拉负担不起人工标记。可惜特斯拉根本没玩监督学习，行为预测才是终极杀手锏。此外，特斯拉还采用模仿学习，不需要人工标注。事实上，即使我们选择用传统的监督学习来研究计算视觉，特斯拉的车队也能带来各种有价值的数据(包括各种极端情况)。比如用于识别马匹的深度学习网络也可以在车上运行。一旦它认为有马出现，它就可以启动相机快速拍照。显然，这种方法可以用来识别相对罕见的物体。目前业界正在攻克计算视觉的自监督学习技术。有了它，训练信号可以完全取自数据本身，无需人工标注。据汽车之心报道，在深度感知领域，特斯拉已经开始尝试自我监督学习。上面的讨论可能有些晦涩，但特斯拉未来的价值几何其实取决于这些技术。面对自动驾驶万亿美元的市场，每个人都想成为领导者。这意味着数千亿美元的估值。

标签：特斯拉摩根前途

汽车资讯热门资讯