福瑞泰克中央计算平台360度感知系统解决NOA量产背后的挑战

随着高级自动驾驶时代的到来，数据驱动的深度学习技术提高了智能驾驶的可靠性和功能范围，更加集成的智能驾驶辅助驾驶功能NOA逐渐成为更多车型的标准功能。

智能辅助驾驶与高精地图的完美结合，NOA可以让车辆在行驶过程中自动变道、超车、避让大车等操作，无需人工干预，还可以自动进出高速公路匝道或立交桥岔口。进一步提高了智能驾驶的自动化水平，为用户的智能驾驶带来了全新的体验。

基于ADC中央计算平台，Fretek为客户提供不同场景下的一体化NOA停车方案，包括ADC20(支持L2.9)、ADC25(支持城市场景)、ADC30(支持L3-L4)三个版本，可支持高速场景下匝道、自动变道、城市道路堵车自动跟车、低速场景下自动停车等功能。

Fretek ADC中央计算平台植根于技术创新，通过停车和驾驶功能的整合以及360度感知技术，实现L2+增强感知，将整体功能体验和性能提升到新的高度。Fretek的360°感知技术支持客户基于场景的重建，针对不同车辆制造商的需求，帮助他们解决在城市道路、高速公路和农村道路的差异化场景中感知需求的挑战。

# 01实现360度周围感知

Fretek ADC20的域控制器通过独创的6V5R架构完美支持NOA功能，性价比极高。域控制器的传感器由6个摄像头、5个毫米波雷达和12个超声波雷达组成，实现360°全方位感知，并辅以高精度地图，实现超视距静态道路环境感知。通过多个传感器的传感冗余，保证至少两个传感器系统覆盖每个方向，从而更大程度上保证传感精度。

ADC20域控制系统的一大特点是让全景摄像机扮演多种角色。在停车场景中，全景摄像头为APA停车功能提供停车位和障碍物感知功能。在驾驶场景中，可以提供车辆、行人、车道线等感知功能，弥补前视和毫米波雷达的盲区，提高驾驶安全性。两种场景的功能以30KPH的速度自动无缝切换，兼容不同场景的感知需求，更重要的是不增加任何硬件成本。

基于360度感知的高阶自动驾驶解决方案，Fretek在量产开发过程中不断探索不同场景下传感器的性能边界，针对场景开发不同的多传感器融合策略，充分发挥各自的优势，扬长避短。融合感知为功能决策提供更可靠的依据，评估传感器的状态和感知置信度，可以在困难场景下及时提醒驾驶员，从而避免危险的自动驾驶策略。

# 02数据闭环，工具链

智能驾驶的智能化程度越高，对数据的依赖就越大，这是业内普遍的共识。智能驾驶面临的数据问题是典型的数据分布长尾问题，即极端案例场景少但极其重要和困难。因此，业内提出了数据闭环的概念，通过建立完整的工具链，可以自动或半自动完成从数据采集、数据挖掘到算法训练、验证、车端升级应用的完整闭环。长尾数据的收集和处理效率决定了算法能力和迭代速度。基于对客户需求和场景数据的理解，Fretek构建了一个数据闭环系统，支持产品开发阶段和产品应用阶段不同的应用策略，并持续……在客户项目和产品开发期间进行优化和升级。

Fretek在车端的ADC20域控制器中部署了影子模式和OTA在线升级模块。影子模式是基于对量产车上的推理判断，可以实时识别特殊功能的场景信息，自动记录感兴趣的感知信息和驾驶信息。根据算法要求，在ADC20中设置了多种不同的触发条件，如驾驶员接管、自动/手动驾驶条件下的紧急制动、自动变道功能失效等。当满足一定的触发条件时，会自动记录事件前后的相关信息。为了节省数据的内存空间，对触发事件进行分类，重要性较高的数据优先存储。数据在适当的时候通过4G/5G无线网络上传到数据中心，上传前对数据进行脱敏处理。

在后端数据中心，对数据进行预处理、挖掘、清洗和标记，然后用于算法模型训练、验证和部署，最后通过OTA升级到车载端。从而形成数据闭环，提高产品迭代效率。在后端数据处理的不同阶段，Fretek开发了多种工具链，如有趣的数据挖掘工具、自动数据清洗工具、便捷的数据可视化工具、反馈驾驶环境的性能评价指标统计工具等。

在产品和项目开发阶段，Fretek收集了数百万公里的实际道路数据，用于算法开发和充电验证。对于视觉感知算法的开发，从海量数据中快速筛选出有效数据对于算法的快速迭代非常重要。我们通过客观评估算法的性能来定义数据挖掘策略，快速筛选出高价值的数据。借助超大规模网络、时间序列信息和后期处理跟踪分析，离线数据挖掘工具可以有效挖掘角落案例场景，提高数据有效性。

# 03全景摄像机在驾驶中的应用

市面上一般的全景摄像头主要利用的是泊车功能，而福瑞泰克将全景摄像头重新用于驾驶环境的感知，在不增加成本的情况下，补充其他传感器在超近距离的盲区，从而增加驾驶条件下的感知可靠性。由于摄像机的鱼眼成像特性，可以看到超近距离车辆的车轮和行人的脚，因此在识别目标位置方面，特别是在提供NOA变道时相邻目标车辆的位置和姿态方面，比其他摄像机具有明显的优势。左右驾驶可以同时检测车辆、行人、两轮车、车道线、道路边界等动态和静态目标。为了达到高精度、低耗时的算法效果，我们采用了几种技术方法。

4向环视的数据量很大，对计算平台的计算能力要求很高。如果对每幅图像分别处理，会明显增加计算量和感知延迟。为了节省计算能力，我们先将四幅图像进行合并，然后再进行计算。对于目标检测网络，直接将原始图像拼接成网格作为网络的输入，对于车道线检测网络，拼接俯视图，并对图像进行适当的下采样。这样可以明显降低神经网络的时间消耗，提高处理的并行性。

对于目标检测功能，Fretek的检测方案与其他摄像机方案类似，即检测目标边框和接地点，然后根据摄像机内外参数将图像坐标投影到车辆坐标系。同时利用BEV对四个目标进行融合，从而获得稳定的目标输出。对于车道线检测功能，首先根据摄像机内外参数将图像拼接成俯视图，然后直接回归车道线的三次曲线方程。与传统的分割方法相比，t……省略车道线的后处理拟合过程。

# 04视觉感知算法的应用优化

感知算法是整个自动驾驶系统的基础，需要为功能决策提供丰富可靠的信息。车载传感算法的性能直接体现在能否快速准确地识别周围障碍物和一系列道路地面信息，如车道线、路缘石、地面标志、停车线等。为了获得良好的感知效果，往往会使用较大的神经网络模型，但较大的网络模型会消耗更多的计算资源。为了给客户提供高性价比的产品，提高产品的竞争力，福瑞泰克选择了成本适中的硬件平台，这对算法部署提出了更高的要求，所以我们更注重低计算能力平台上的算法部署。

为了解决芯片功耗和计算能力的限制，小规模网络模型是必然的选择，但是模型的训练比较困难。弗雷特克探索了各种训练技术来提高模型的准确性。知识蒸馏技术在学术界和工业界已经得到了广泛的研究和应用，Furuitek在这方面也做了大量的验证工作。我们选择使用结构较大的模型作为教师网络，并在训练时在教师网络和现有网络之间建立一个损耗。通过减少损耗，现有网络具有与教师网络相似的性能。在传统的网络训练中，通常使用人工标记的标签(即一次性编码标签)来训练网络。这些标签可以让网络知道图像中的目标内容。但这种标签的缺点是目标的分类只能是单一的，目标是某个类别的概率只能是100%。在现实世界中，可能会出现目标重叠或者类似的情况。在蒸馏过程中，教师网会输出软目标标签，这是教师模型预测的每个类别的概率，更符合真实的概率分布。使用软目标作为模型标签可以提高模型捕捉相似性的能力。

模型的训练一般采用浮点精度，而嵌入式平台的部署一般是8位量化甚至更低。模型从32位浮点到8位量化的变化过程，必然会带来更大的精度损失，尤其是当模型规模很小时，无法满足智能驾驶对感知精度的要求。量化再训练QAT是减少精度损失的好方法。在分析了计算平台的计算过程后，我们在训练框架中设计了量化规则，并在正常的训练过程中加入了量化模拟，从而减少了部署过程中的精度损失。

Transformer最早在NLP领域大放异彩，近年来在视觉感知领域也表现出了优越的性能，也成为了视觉感知算法的研究热点。但是Transformer的特殊算子对目前主流的计算平台并不友好，计算时间会明显增加，Transformer在实际应用中并未能获得明显的优势。面对这种情况，Fretek选择简化Transformer的结构，在一些网络结构中使用Transformer的关键特性，以达到性能和时间消耗的平衡。我们在车道线分割网络中局部使用该技术，提高了网络的全局感知能力，提高了车道线交叉、远程车道线检测和恶劣环境下车道线检测的性能。我们也在尝试Transformer的其他用途，比如在蒸馏的老师模型中使用这个模块来提高网络精度。

随着高级自动驾驶时代的到来，数据驱动的深度学习技术提高了智能驾驶的可靠性和功能范围，更加集成的智能驾驶辅助驾驶功能NOA逐渐成为更多车型的标准功能。

智能辅助驾驶与高精地图的完美结合，NOA可以让车辆拥有……在行驶过程中能自动变道、超车、避让大车等操作，无需人工干预，还能自动进出高速公路匝道或立交桥岔道。进一步提高了智能驾驶的自动化水平，为用户的智能驾驶带来了全新的体验。

基于ADC中央计算平台，Fretek为客户提供不同场景下的一体化NOA停车方案，包括ADC20(支持L2.9)、ADC25(支持城市场景)、ADC30(支持L3-L4)三个版本，可支持高速场景下匝道、自动变道、城市道路堵车自动跟车、低速场景下自动停车等功能。

Fretek ADC中央计算平台植根于技术创新，通过停车和驾驶功能的整合以及360度感知技术，实现L2+增强感知，将整体功能体验和性能提升到新的高度。Fretek的360°感知技术支持客户基于场景的重建，针对不同车辆制造商的需求，帮助他们解决在城市道路、高速公路和农村道路的差异化场景中感知需求的挑战。

# 01实现360度周围感知

Fretek ADC20的域控制器通过独创的6V5R架构完美支持NOA功能，性价比极高。域控制器的传感器由6个摄像头、5个毫米波雷达和12个超声波雷达组成，实现360°全方位感知，并辅以高精度地图，实现超视距静态道路环境感知。通过多个传感器的传感冗余，保证至少两个传感器系统覆盖每个方向，从而更大程度上保证传感精度。

ADC20域控制系统的一大特点是让全景摄像机扮演多种角色。在停车场景中，全景摄像头为APA停车功能提供停车位和障碍物感知功能。在驾驶场景中，可以提供车辆、行人、车道线等感知功能，弥补前视和毫米波雷达的盲区，提高驾驶安全性。两种场景的功能以30KPH的速度自动无缝切换，兼容不同场景的感知需求，更重要的是不增加任何硬件成本。

基于360度感知的高阶自动驾驶解决方案，Fretek在量产开发过程中不断探索不同场景下传感器的性能边界，针对场景开发不同的多传感器融合策略，充分发挥各自的优势，扬长避短。融合感知为功能决策提供更可靠的依据，评估传感器的状态和感知置信度，可以在困难场景下及时提醒驾驶员，从而避免危险的自动驾驶策略。

# 02数据闭环，工具链

智能驾驶的智能化程度越高，对数据的依赖就越大，这是业内普遍的共识。智能驾驶面临的数据问题是典型的数据分布长尾问题，即极端案例场景少但极其重要和困难。因此，业内提出了数据闭环的概念，通过建立完整的工具链，可以自动或半自动完成从数据采集、数据挖掘到算法训练、验证、车端升级应用的完整闭环。长尾数据的收集和处理效率决定了算法能力和迭代速度。基于对客户需求和场景数据的理解，Fretek构建了数据闭环系统，在产品开发阶段和产品应用阶段支持不同的应用策略，在客户项目和产品开发过程中不断优化升级。

Fretek在车端的ADC20域控制器中部署了影子模式和OTA在线升级模块。影子模式基于对量产车上的推理判断，可以实时识别特殊功能的场景信息，自动记录感兴趣的感知信息和dr……ing信息。根据算法要求，在ADC20中设置了多种不同的触发条件，如驾驶员接管、自动/手动驾驶条件下的紧急制动、自动变道功能失效等。当满足一定的触发条件时，会自动记录事件前后的相关信息。为了节省数据的内存空间，对触发事件进行分类，重要性较高的数据优先存储。数据在适当的时候通过4G/5G无线网络上传到数据中心，上传前对数据进行脱敏处理。

在后端数据中心，对数据进行预处理、挖掘、清洗和标记，然后用于算法模型训练、验证和部署，最后通过OTA升级到车载端。从而形成数据闭环，提高产品迭代效率。在后端数据处理的不同阶段，Fretek开发了多种工具链，如有趣的数据挖掘工具、自动数据清洗工具、便捷的数据可视化工具、反馈驾驶环境的性能评价指标统计工具等。

在产品和项目开发阶段，Fretek收集了数百万公里的实际道路数据，用于算法开发和充电验证。对于视觉感知算法的开发，从海量数据中快速筛选出有效数据对于算法的快速迭代非常重要。我们通过客观评估算法的性能来定义数据挖掘策略，快速筛选出高价值的数据。借助超大规模网络、时间序列信息和后期处理跟踪分析，离线数据挖掘工具可以有效挖掘角落案例场景，提高数据有效性。

# 03全景摄像机在驾驶中的应用

市面上一般的全景摄像头主要利用的是泊车功能，而福瑞泰克将全景摄像头重新用于驾驶环境的感知，在不增加成本的情况下，补充其他传感器在超近距离的盲区，从而增加驾驶条件下的感知可靠性。由于摄像机的鱼眼成像特性，可以看到超近距离车辆的车轮和行人的脚，因此在识别目标位置方面，特别是在提供NOA变道时相邻目标车辆的位置和姿态方面，比其他摄像机具有明显的优势。左右驾驶可以同时检测车辆、行人、两轮车、车道线、道路边界等动态和静态目标。为了达到高精度、低耗时的算法效果，我们采用了几种技术方法。

4向环视的数据量很大，对计算平台的计算能力要求很高。如果对每幅图像分别处理，会明显增加计算量和感知延迟。为了节省计算能力，我们先将四幅图像进行合并，然后再进行计算。对于目标检测网络，直接将原始图像拼接成网格作为网络的输入，对于车道线检测网络，拼接俯视图，并对图像进行适当的下采样。这样可以明显降低神经网络的时间消耗，提高处理的并行性。

对于目标检测功能，Fretek的检测方案与其他摄像机方案类似，即检测目标边框和接地点，然后根据摄像机内外参数将图像坐标投影到车辆坐标系。同时利用BEV对四个目标进行融合，从而获得稳定的目标输出。对于车道线检测功能，首先根据摄像机内外参数将图像拼接成俯视图，然后直接回归车道线的三次曲线方程。与传统的分割方法相比，省略了车道线的后处理拟合过程。

# 04视觉感知算法的应用优化

感知算法是整个自动驾驶系统的基础，需要为功能决策提供丰富可靠的信息。车载传感算法的性能直接体现在能否快速准确地识别周围障碍物和一系列道路地面信息，如车道线、ke……s，地面标志，停止线等等。为了获得良好的感知效果，往往会使用较大的神经网络模型，但较大的网络模型会消耗更多的计算资源。为了给客户提供高性价比的产品，提高产品的竞争力，福瑞泰克选择了成本适中的硬件平台，这对算法部署提出了更高的要求，所以我们更注重低计算能力平台上的算法部署。

为了解决芯片功耗和计算能力的限制，小规模网络模型是必然的选择，但是模型的训练比较困难。弗雷特克探索了各种训练技术来提高模型的准确性。知识蒸馏技术在学术界和工业界已经得到了广泛的研究和应用，Furuitek在这方面也做了大量的验证工作。我们选择使用结构较大的模型作为教师网络，并在训练时在教师网络和现有网络之间建立一个损耗。通过减少损耗，现有网络具有与教师网络相似的性能。在传统的网络训练中，通常使用人工标记的标签(即一次性编码标签)来训练网络。这些标签可以让网络知道图像中的目标内容。但这种标签的缺点是目标的分类只能是单一的，目标是某个类别的概率只能是100%。在现实世界中，可能会出现目标重叠或者类似的情况。在蒸馏过程中，教师网会输出软目标标签，这是教师模型预测的每个类别的概率，更符合真实的概率分布。使用软目标作为模型标签可以提高模型捕捉相似性的能力。

模型的训练一般采用浮点精度，而嵌入式平台的部署一般是8位量化甚至更低。模型从32位浮点到8位量化的变化过程，必然会带来更大的精度损失，尤其是当模型规模很小时，无法满足智能驾驶对感知精度的要求。量化再训练QAT是减少精度损失的好方法。在分析了计算平台的计算过程后，我们在训练框架中设计了量化规则，并在正常的训练过程中加入了量化模拟，从而减少了部署过程中的精度损失。

Transformer最早在NLP领域大放异彩，近年来在视觉感知领域也表现出了优越的性能，也成为了视觉感知算法的研究热点。但是Transformer的特殊算子对目前主流的计算平台并不友好，计算时间会明显增加，Transformer在实际应用中并未能获得明显的优势。面对这种情况，Fretek选择简化Transformer的结构，在一些网络结构中使用Transformer的关键特性，以达到性能和时间消耗的平衡。我们在车道线分割网络中局部使用该技术，提高了网络的全局感知能力，提高了车道线交叉、远程车道线检测和恶劣环境下车道线检测的性能。我们也在尝试Transformer的其他用途，比如在蒸馏的老师模型中使用这个模块来提高网络精度。

标签：优越

汽车资讯热门资讯