英伟达冯栋栋：NVIDIA DRIVE 端到端自动驾驶平台

8月26日，由Gaspar主办的“2021行业首届智能汽车域控制器创新峰会”在上海汽车城瑞丽酒店举行。为期两天的会议将重点讨论智能汽车、智能驾驶域控制器、智能驾驶舱域控制器、底盘和车身域控制器、智能驾驶计算平台、电子和电气架构、软件定义的汽车和汽车仪表芯片。大会期间，英伟达半导体科技(上海)有限公司自动驾驶软件总监冯冬冬发表了题为“NVIDIA DRIVE端到端自动驾驶平台”的主题演讲。

以下为演讲实录:

大家早上好。很高兴有机会和大家分享NVIDIA DRIVE在汽车领域的端到端自动驾驶平台。

1999年，NVIDIA发明了GPU，极大地推动了PC游戏市场的发展，重新定义了现代计算机图形技术，彻底改变了并行计算。我们基于强大的GPU和高性能计算开发了各种AI相关产品。今天主要分享NVIDIA DRIVE平台在启用自动驾驶领域的应用。

昨天的发言者，包括刚才小鹏的薛俨先生也提到，未来的汽车一定是软件定义的汽车。我们相信，在未来，汽车不再是简单的交通工具，它一定是软件定义的汽车，有持续的软件迭代。以前人们买传统车的时候，第一天是最好的，但是随着时间的推演，可能已经不再新奇了。但是软件车正好相反。你买这款车的时候，第一天可能是最年轻的，也可能是最不完善的，但是随着时间的推演和OTA软件的不断迭代更新，它会给产品带来更多的新功能和新鲜感，它的开发过程和传统汽车完全不同。

针对软件定义汽车的需求，英伟达开发了端到端的自动驾驶平台，主要是为了赋能自动驾驶行业的客户基于我们的平台快速高效地开发自动驾驶产品。

NVIDIA DRIVE平台主要包括DRIVE Orin芯片、DRIVE AGX Orin集中式AI计算平台、DRIVE OS基础软件平台、Driveworks中间件、DRIVE AV自动驾驶软件栈、DRIVE Hyperion数据采集与开发验证套件、DRIVE Constellation虚拟仿真平台和DGX高性能AI训练服务器。

DRIVE Hyperion是NVIDIA自动驾驶数据采集和验证开发套件，包括NVIDIA DRIVE AGX开发平台，主流传感器如摄像头、雷达、激光雷达、GPS、IMU等硬件。同时还包括DRIVE OS的基础软件平台、Driveworks的中间件以及与数据采集相关的软件。我们的客户和合作伙伴可以基于DRIVE Hyperion开发套件快速搭建自动驾驶数据采集车和测试车，从而进行多传感器数据采集和自动驾驶算法测试验证。

DGX A100是世界上第一台高性能人工智能计算机。其内部集成的A100张量核GPU可达640GB GPU内存，内置Mellanox ConnectX-6 InfiniBand超高带宽以太网适配器，峰值双向带宽500 GB/s..基于高性能的DGX AI服务器，客户可以进行深度网络学习的训练、推理和数据分析。同时，多台DGX A100计算机可以与英伟达DGX SuperPOD、英伟达BlueField数据处理单元DPU和英伟达Base Command相结合，构建超级计算机或AI集群，为挑战深度学习网络模型训练和映射的自动驾驶海量数据提供卓越的基础设施和灵活、可扩展的AI计算性能。

驱动星座仿真平台主要完成各种虚拟场景的渲染和仿真，生成仿真的传感器数据。主要提供两个功能:1)虚拟仿真——在Drive Constellation模拟器上运行DRIVE Sim软件，模拟虚拟世界、交通场景和行驶在道路上的车辆。虚拟汽车在仿真环境中行驶，可以产生摄像头、雷达、激光雷达、GPS、IMU等模拟传感器数据。这些模拟传感器数据被送到驱动星座计算机中DRIVE AGX的车侧计算平台进行感知、定位、规划和生成决策控制数据，然后送回驱动星座模拟器进行评估和验证。2)用于数据回放-t的真实数据……自动驾驶车辆数据采集过程中的物理传感器，也可以通过驱动星座模拟器回放，输出到驱动星座计算机中的驱动AGX车辆计算平台进行感知、定位、规划和生成决策控制数据，再送回驱动星座模拟器进行评估和验证。DRIVE Constellation仿真平台提供了一个可扩展的、全面的和多样化的测试环境。通过开放式模块化架构，DRIVE Sim软件允许客户使用自己的仿真模型或生态合作伙伴定制的车辆、环境、传感器或交通场景。

DRIVE AGX平台主要是为自动驾驶汽车提供高性能的车端AI计算平台。经过模拟测试后，可以将深度学习网络模型和算法部署在DRIVE AGX的车载终端平台上进行路测，验证相应的自动驾驶功能。此外，在DRIVE AGX平台上，还可以创建或绘制世界模型，并显示当前车辆的3D周边模型。自动驾驶车辆在道路测试和验证过程中还可以采集传感器数据，因此数据采集、数据训练、仿真和自动驾驶道路测试和验证形成了一个数据闭环。

2019年，我们发布了DRIVE ORIN芯片，主要满足L2辅助驾驶、L2+高阶辅助驾驶、高阶自动驾驶的需求。Orin由245亿个晶体管组成，集成了12个64位ARM A78 CPU内核，提供228K DMIPS的CPU计算能力。Orin张量核GPU和DLA提供254 TOPS INT8 AI推理能力；Orin提供高达205 GB/S的内存带宽，内部集成4个万兆以太网；Orin支持H264/H265/VP9格式的8K像素30帧/秒图像解码和4K像素60帧/秒图像编码。奥林的功能安全岛集成了四个锁步Cortex-R52内核，并实现了随机硬件故障的ASIL-D。最重要的是，Orin芯片严格按照ISO26262功能安全设计研发，可以实现随机硬件失效的ASIL-B和系统级的ASIL-D功能安全认证。基于Orin芯片，我们开发了一个具有可扩展硬件架构和可编程软件的人工智能计算平台，用于自动驾驶。AI计算平台由单个Orin芯片提供254 TOPS INT8 AI推理能力，可以满足L2+高阶辅助驾驶产品的要求。多个Orin芯片或Orin加Ampere GPU可以构建一个超过2000 TOPS INT8计算能力的AI计算平台，满足RoboTaxi产品的需求。

目前，传统的L2驾驶辅助系统一般由多个ECU组成，包括360°环视、ADAS域控制器和智能摄像头。基于DRIVE Orin的可扩展参考平台设计，我们的客户可以根据不同车型的需求，快速设计开发具有统一软硬件架构的灵活、可扩展的集中式自动驾驶AI计算平台，满足L2辅助驾驶到L4级自动驾驶产品的功能需求。

刚才我谈到ORIN芯片从单个芯片提供254次推理能力。通过可扩展的DRIVE Orin产品系列，客户可以利用DRIVE Orin硬件平台的灵活性和可扩展性以及统一架构的巨大优势，快速构建智能驱动域控制器硬件平台。相同硬件架构的域控制器平台可以兼容L2辅助驾驶、L2+高级辅助驾驶、L4-高级自动驾驶和无人驾驶系统，从而大大加快了域控制器硬件平台的开发速度，降低了硬件开发测试和软件维护的成本。

基于ORIN的灵活性和可扩展性，我们还开发了相应的基础软件平台和中间件。我们的客户可以通过具有统一API接口的SDK快速开发自己的应用和算法。为了方便客户更好的使用DRIVE OS，我们进行了抽象封装，提供了模块化的抽象封装库，包括硬件传感器抽象层、图像处理和点云处理，并提供了便捷的计算图框架。我们的客户可以利用DRIVE OS的这些优势，快速构建应用软件和算法，最大限度地实现重用。相同软件架构的域控制器平台软件可以支持L2辅助驾驶、高阶自动驾驶和无人驾驶系统，从而加快软件产品开发的迭代速度，降低软件开发、测试和验证的成本。

未来的汽车一定是集中式架构或者中央架构。为了满足集中式架构，我们的DRIVE OS平台也从设计角度考虑SOA理念，所有软件都基于模块化设计。DRIVE OS是NVIDIA为车侧芯片开发的模块化AI计算平台软件。深绿色部分是ORIN芯片，浅绿色部分是DRIVE OS的各个软件模块，灰色部分是第三方软件或者客户自己开发的软件模块。为了实现DRIVE OS的功能安全和软硬件的隔离，NVIDIA开发的实时微内核Type 1 Hypervisor运行在Orin SOC上。运行在虚拟机管理程序上的QNX QOS满足了作为来宾操作系统的功能安全性。在虚拟机管理程序上，还有几个虚拟机，如负责OTA更新的DRIVE UPDAE服务和Foundation服务。英伟达在QNX访客操作系统的基础上开发了NvMedia、NvStreams、VulkanSC SDK和CUDA、TensorRT AI引擎加速库。在ORIN功能安全岛中，可以运行与功能安全相关的OEM算法，如车辆控制算法、比较算法、传感器后融合算法等。此外，NVIDIA自己的安全框架运行在功能安全岛上，主要实时监控ORIN芯片、硬件模块和寄存器状态，同时也监控DRIVE OS软件。

NVDIA Driveworks SDK主要实现摄像头、毫米波雷达、激光雷达、GPS、IMU等传感器的抽象封装，支持图像处理和点云预处理。当一个自我……行驶中的汽车在道路上行驶一段时间后，一些视觉传感器可能会由于振荡而产生图像输出失真，所以我们可以使用自标定来进行在线标定。同时，它还提供了对当前车辆位置的估计和预测。基于DRIVE Works采集的传感器数据，在DRIVE AV层进行相应的障碍物感知、车道线感知和红绿灯感知。同时基于这些感知结果，结合高清地图实现定位，创建世界模型。最后，进行行为规划、车道线规划、路径规划和车辆控制。

基于DRIVE Works，我们针对自动驾驶的典型使用场景和弯道情况场景开发了多种丰富的神经网络，包括障碍物感知、车道线检测、路口感知、距离感知、交通标志和红绿灯感知、驾驶员监控等常见网络。同时，我们还开发了交警手势指挥检测网络、远光灯检测网络、摄像头失明检测网络等。

刚才主要介绍了目前这一代的ORIN平台。为了满足软件定义汽车和客户对高性能AI计算平台的需求，我们正在开发ORIN的下一代产品DRIVE ATLAN。单个芯片可以提供1000 TOPS的计算能力，可以满足2024年自动驾驶汽车量产的需求。ATLAN是一个技术杰作，它集成了英伟达在AI、汽车、安全和BlueField安全数据中心的技术。DRIVE ATLAN是业界首款在单个芯片上集成1000个top的SOC。ATLAN可以提供更高的网络带宽和安全服务，并集成ASIL-D功能安全岛。基于ATLAN，客户可以开发自动驾驶产品，满足高水平的自动驾驶。8月26日，由Gaspar主办的“2021行业首届智能汽车域控制器创新峰会”在上海汽车城瑞丽酒店举行。为期两天的会议将重点讨论智能汽车、智能驾驶域控制器、智能驾驶舱域控制器、底盘和车身域控制器、智能驾驶计算平台、电子和电气架构、软件定义的汽车和汽车仪表芯片。大会期间，英伟达半导体科技(上海)有限公司自动驾驶软件总监冯冬冬发表了题为“NVIDIA DRIVE端到端自动驾驶平台”的主题演讲。

以下为演讲实录:

大家早上好。很高兴有机会和大家分享NVIDIA DRIVE在汽车领域的端到端自动驾驶平台。

1999年，NVIDIA发明了GPU，极大地推动了PC游戏市场的发展，重新定义了现代计算机图形技术，彻底改变了并行计算。我们基于强大的GPU和高性能计算开发了各种AI相关产品。今天主要分享NVIDIA DRIVE平台在启用自动驾驶领域的应用。

昨天的发言者，包括刚才小鹏的薛俨先生也提到，未来的汽车一定是软件定义的汽车。我们相信，在未来，汽车不再是简单的交通工具，它一定是软件定义的汽车，有持续的软件迭代。以前人们买传统车的时候，第一天是最好的，但是随着时间的推演，可能已经不再新奇了。但是软件车正好相反。你买这款车的时候，第一天可能是最年轻的，也可能是最不完善的，但是随着时间的推演和OTA软件的不断迭代更新，它会给产品带来更多的新功能和新鲜感，它的开发过程和传统汽车完全不同。

针对软件定义汽车的需求，英伟达开发了端到端的自动驾驶平台，主要是为了赋能自动驾驶行业的客户基于我们的平台快速高效地开发自动驾驶产品。

NVIDIA DRIVE平台主要包括DRIVE Orin芯片、DRIVE AGX Orin集中式AI计算平台、DRIVE OS基础软件平台、Driveworks中间件、DRIVE AV自动驾驶软件栈、DRIVE Hyperion数据采集与开发验证套件、DRIVE Constellation虚拟仿真平台和DGX高性能AI训练服务器。

DRIVE Hyperion是NVIDIA自动驾驶数据采集和验证开发套件，包括NVIDIA DRIVE AGX开发平台、主流传感器如摄像头、雷达、激光雷达、GPS、IMU……和其他硬件。同时还包括DRIVE OS的基础软件平台、Driveworks的中间件以及与数据采集相关的软件。我们的客户和合作伙伴可以基于DRIVE Hyperion开发套件快速搭建自动驾驶数据采集车和测试车，从而进行多传感器数据采集和自动驾驶算法测试验证。

DGX A100是世界上第一台高性能人工智能计算机。其内部集成的A100张量核GPU可达640GB GPU内存，内置Mellanox ConnectX-6 InfiniBand超高带宽以太网适配器，峰值双向带宽500 GB/s..基于高性能的DGX AI服务器，客户可以进行深度网络学习的训练、推理和数据分析。同时，多台DGX A100计算机可以与英伟达DGX SuperPOD、英伟达BlueField数据处理单元DPU和英伟达Base Command相结合，构建超级计算机或AI集群，为挑战深度学习网络模型训练和映射的自动驾驶海量数据提供卓越的基础设施和灵活、可扩展的AI计算性能。

驱动星座仿真平台主要完成各种虚拟场景的渲染和仿真，生成仿真的传感器数据。主要提供两个功能:1)虚拟仿真——在Drive Constellation模拟器上运行DRIVE Sim软件，模拟虚拟世界、交通场景和行驶在道路上的车辆。虚拟汽车在仿真环境中行驶，可以产生摄像头、雷达、激光雷达、GPS、IMU等模拟传感器数据。这些模拟传感器数据被送到驱动星座计算机中DRIVE AGX的车侧计算平台进行感知、定位、规划和生成决策控制数据，然后送回驱动星座模拟器进行评估和验证。2)用于数据回放——自动驾驶车辆数据采集过程中物理传感器的真实数据，也可以通过驱动星座模拟器回放，输出到驱动星座计算机中的驱动AGX车辆计算平台进行感知、定位、规划和生成决策控制数据，然后发回驱动星座模拟器进行评估和验证。DRIVE Constellation仿真平台提供了一个可扩展的、全面的和多样化的测试环境。通过开放式模块化架构，DRIVE Sim软件允许客户使用自己的仿真模型或生态合作伙伴定制的车辆、环境、传感器或交通场景。

DRIVE AGX平台主要是为自动驾驶汽车提供高性能的车端AI计算平台。经过模拟测试后，可以将深度学习网络模型和算法部署在DRIVE AGX的车载终端平台上进行路测，验证相应的自动驾驶功能。此外，在DRIVE AGX平台上，还可以创建或绘制世界模型，并显示当前车辆的3D周边模型。自动驾驶车辆在道路测试和验证过程中还可以采集传感器数据，因此数据采集、数据训练、仿真和自动驾驶道路测试和验证形成了一个数据闭环。

2019年，我们发布了DRIVE ORIN芯片，主要满足L2辅助驾驶、L2+高阶辅助驾驶、高阶自动驾驶的需求。Orin由245亿个晶体管组成，集成了12个64位ARM A78 CPU内核，提供228K DMIPS的CPU计算能力。Orin张量核GPU和DLA提供254 TOPS INT8 AI推理能力；Orin提供高达205 GB/S的内存带宽，内部集成4个万兆以太网；Orin支持H264/H265/VP9格式的8K像素30帧/秒图像解码和4K像素60帧/秒图像编码。奥林的功能安全岛集成了四个锁步Cortex-R52内核，并实现了随机硬件故障的ASIL-D。最重要的是，Orin芯片严格按照ISO26262功能安全设计研发，可以实现随机硬件失效的ASIL-B和系统级的ASIL-D功能安全认证。基于Orin芯片，我们开发了一个具有可扩展硬件架构和可编程软件的人工智能计算平台，用于自动驾驶。AI计算平台由单个Orin芯片提供254 TOPS INT8 AI推理能力，可以满足L2+高阶辅助驾驶产品的要求。多个Orin芯片或Orin加Ampere GPU可以构建一个超过2000 TOPS INT8计算能力的AI计算平台，满足RoboTaxi产品的需求。

目前，传统的L2驾驶辅助系统一般由多个ECU组成，包括360°环视、ADAS域控制器和智能摄像头。基于DRIVE Orin的可扩展参考平台设计，我们的客户可以根据不同车型的需求，快速设计开发具有统一软硬件架构的灵活、可扩展的集中式自动驾驶AI计算平台，满足L2辅助驾驶到L4级自动驾驶产品的功能需求。

刚才我谈到ORIN芯片从单个芯片提供254次推理能力。通过可扩展的DRIVE Orin产品系列，客户可以利用DRIVE Orin硬件平台的灵活性和可扩展性以及统一架构的巨大优势，快速构建智能驱动域控制器硬件平台。相同硬件架构的域控制器平台可以兼容L2辅助驾驶、L2+高级辅助驾驶、L4-高级自动驾驶和无人驾驶系统，从而大大加快了域控制器硬件平台的开发速度，降低了硬件开发测试和软件维护的成本。

基于ORIN的灵活性和可扩展性，我们还开发了相应的基础软件平台和中间件。我们的客户可以通过具有统一API接口的SDK快速开发自己的应用和算法。为了方便客户更好的使用DRIVE OS，我们进行了抽象封装，提供了模块化的抽象封装库，包括硬件传感器抽象层、图像处理和点云处理，并提供了便捷的计算图框架。我们的客户可以利用DRIVE OS的这些优势，快速构建应用软件和算法，最大限度地实现重用。相同软件架构的域控制器平台软件可以支持L2辅助驾驶、高阶自动驾驶和无人驾驶系统，从而加快软件产品开发的迭代速度，降低软件开发、测试和验证的成本。

未来的汽车一定是集中式架构或者中央架构。为了满足集中式架构，我们的DRIVE OS平台也从设计角度考虑SOA理念，所有软件都基于模块化设计。DRIVE OS是NVIDIA为车侧芯片开发的模块化AI计算平台软件。深绿色部分是ORIN芯片，浅绿色部分是DRIVE OS的各个软件模块，灰色部分是第三方软件或者客户自己开发的软件模块。为了实现DRIVE OS的功能安全和软硬件的隔离，NVIDIA开发的实时微内核Type 1 Hypervisor运行在Orin SOC上。运行在虚拟机管理程序上的QNX QOS满足了作为来宾操作系统的功能安全性。在虚拟机管理程序上，还有几个虚拟机，如负责OTA更新的DRIVE UPDAE服务和Foundation服务。英伟达在QNX访客操作系统的基础上开发了NvMedia、NvStreams、VulkanSC SDK和CUDA、TensorRT AI引擎加速库。在ORIN功能安全岛中，可以运行与功能安全相关的OEM算法，如车辆控制算法、比较算法、传感器后融合算法等。此外，NVIDIA自己的安全框架运行在功能安全岛上，主要实时监控ORIN芯片、硬件模块和寄存器状态，同时也监控DRIVE OS软件。

NVDIA Driveworks SDK主要实现摄像头、毫米波雷达、激光雷达、GPS、IMU等传感器的抽象封装，支持图像处理和点云预处理。当一个自我……行驶中的汽车在道路上行驶一段时间后，一些视觉传感器可能会因振荡而产生图像输出失真，因此可以采用自标定的方法进行在线标定。同时，它还提供了对当前车辆位置的估计和预测。基于DRIVE Works采集的传感器数据，在DRIVE AV层进行相应的障碍物感知、车道线感知和红绿灯感知。同时基于这些感知结果，结合高清地图实现定位，创建世界模型。最后，进行行为规划、车道线规划、路径规划和车辆控制。

基于DRIVE Works，我们针对自动驾驶的典型使用场景和弯道情况场景开发了多种丰富的神经网络，包括障碍物感知、车道线检测、路口感知、距离感知、交通标志和红绿灯感知、驾驶员监控等常见网络。同时，我们还开发了交警手势指挥检测网络、远光灯检测网络、摄像头失明检测网络等。

刚才主要介绍了目前这一代的ORIN平台。为了满足软件定义汽车和客户对高性能AI计算平台的需求，我们正在开发ORIN的下一代产品DRIVE ATLAN。单个芯片可以提供1000 TOPS的计算能力，可以满足2024年自动驾驶汽车量产的需求。ATLAN是一个技术杰作，它集成了英伟达在AI、汽车、安全和BlueField安全数据中心的技术。DRIVE ATLAN是业界首款在单个芯片上集成1000个top的SOC。ATLAN可以提供更高的网络带宽和安全服务，并集成ASIL-D功能安全岛。基于ATLAN，客户可以开发自动驾驶产品，满足高水平的自动驾驶。NVIDIA DRIVE是价值数十万亿美元的面向交通行业的端到端自动驾驶平台，从DriveOrion/Atlan芯片、DRIVE AGX硬件参考平台，从DRIVE OS、Driveworks、DRIVE AV自动驾驶软件栈到DRIVE Hyperion数据采集与开发验证套件、DRIVE Constellation虚拟仿真平台和DGX高性能培训服务器，我们与各个层面的行业客户和合作伙伴开展了深入合作。英伟达将继续为更安全、更高效的自动驾驶提供集中式高性能AI计算平台，使车辆能够实时运行自动驾驶所必需的各种冗余、多样的深度学习网络模型和算法。

最后，非常感谢全世界的开发者和合作伙伴。我希望我们能与世界各地的客户和合作伙伴共创美好未来。谢谢你。NVIDIA DRIVE是价值数十万亿美元的面向交通行业的端到端自动驾驶平台，从DriveOrion/Atlan芯片、DRIVE AGX硬件参考平台，从DRIVE OS、Driveworks、DRIVE AV自动驾驶软件栈到DRIVE Hyperion数据采集与开发验证套件、DRIVE Constellation虚拟仿真平台和DGX高性能培训服务器，我们与各个层面的行业客户和合作伙伴开展了深入合作。英伟达将继续为更安全、更高效的自动驾驶提供集中式高性能AI计算平台，使车辆能够实时运行自动驾驶所必需的各种冗余、多样的深度学习网络模型和算法。

最后，非常感谢全世界的开发者和合作伙伴。我希望我们能与世界各地的客户和合作伙伴共创美好未来。谢谢你。

标签：理念现代小鹏

汽车资讯热门资讯