亚利桑那大学开发出新方法 可为深度学习应用自动生成雷达摄像头数据集

近年来，机器人专家和计算机科学家一直在开发各种各样的系统，以检测环境中的物体并相应地导航。这些系统大多基于在大型图像数据集上训练的机器学习和深度学习算法。虽然有大量的图像数据集用于训练机器学习模型，但包含雷达传感器收集的数据的数据集仍然很少，尽管雷达比光学传感器有明显的优势。此外，许多可用的开源雷达数据集难以应用于各种用户应用。

据国外媒体报道，亚利桑那大学的研究人员最近开发了一种新方法，可以自动生成包含标记雷达数据相机图像的数据集。该方法利用摄像机图像流上的高精度目标检测算法(也称YOLO)和相关技术(也称匈牙利算法)来标记雷达点云。

(来源:森古普塔)

亚利桑那大学的博士生、这项研究的主要研究员Arindam Sengupta表示:“使用雷达的深度学习应用需要大量标记的训练数据，而标记雷达数据并不容易。这种方法主要是通过人工将其与并行获取的图像数据流进行比对来完成的，这是一个极其耗时耗力的过程。我们的想法是，如果摄像头和雷达在看同一个物体，那么我们可以使用基于图像的物体检测框架(在案例中也称为YOLO)来自动标记雷达数据，而不是手动查看图像。”

森古普塔和他的同事说，这种方法的三个特征是协作校准、聚类和关联能力。这种方法可以将雷达和它的摄像头一起标定，根据摄像头的数字像素来确定雷达探测到的物体的位置以及如何转换。

森古普塔说:“我们使用基于密度的聚类方案(DBSCAN)来检测和消除噪声/杂散雷达回波；并将雷达回波分成群以区分不同的物体；最后，帧内和帧间匈牙利算法(HA)用于相关。在这一帧中，HA将YOLO预测与给定帧中的协同校准雷达簇相关联，而在连续帧中，HA将与同一目标相关的雷达簇相关联，这样即使光学传感器间歇性故障，雷达数据也可以在帧中标记出来。"

在未来，这种新方法可以帮助自动生成雷达相机和纯雷达数据集。此外，该团队还探索了一种基于雷达相机的传感器融合方法和一种仅收集雷达数据的概念验证分类方案。

森古普塔说:“我们还建议使用结合空间、多普勒和RCS统计的有效12维雷达特征向量，而不是传统的点云分布或微多普勒数据。”

最后，Sengupta及其同事的研究可以为快速调查和训练开辟新的可能性，并使用传感器融合来分类或跟踪基于深度学习的模型。这些模型可以帮助提高许多机器人系统的性能，从自动驾驶汽车到小型机器人。近年来，机器人专家和计算机科学家一直在开发各种各样的系统，以检测环境中的物体并相应地导航。这些系统大多基于在大型图像数据集上训练的机器学习和深度学习算法。虽然有大量的图像数据集用于训练机器学习模型，但包含雷达传感器收集的数据的数据集仍然很少，尽管雷达比光学传感器有明显的优势。此外，许多可用的开源雷达数据集难以应用于各种用户应用。

据国外媒体报道，亚利桑那大学的研究人员最近开发了一种新方法，可以自动生成包含标记雷达数据相机图像的数据集。该方法利用摄像机图像流上的高精度目标检测算法(也称YOLO)和相关技术(也称匈牙利算法)来标记雷达点云。

(来源:森古普塔)

亚利桑那大学的博士生、这项研究的主要研究员Arindam Sengupta表示:“使用雷达的深度学习应用需要大量标记的训练数据，而标记雷达数据并不容易。这种方法主要是通过人工将其与并行获取的图像数据流进行比对来完成的，这是一个极其耗时耗力的过程。我们的想法是，如果摄像头和雷达在看同一个物体，那么我们可以使用基于图像的物体检测框架(在案例中也称为YOLO)来自动标记雷达数据，而不是手动查看图像。”

森古普塔和他的同事说，这种方法的三个特征是协作校准、聚类和关联能力。这种方法可以将雷达和它的摄像头一起标定，根据摄像头的数字像素来确定雷达探测到的物体的位置以及如何转换。

森古普塔说:“我们使用基于密度的聚类方案(DBSCAN)来检测和消除噪声/杂散雷达回波；并将雷达回波分成群以区分不同的物体；最后，帧内和帧间匈牙利算法(HA)用于相关。在这一帧中，HA将YOLO预测与给定帧中的合作校准雷达簇相关联，而在连续帧中，HA将与同一目标相关的雷达簇相关联，这样即使光学传感器间歇性故障，雷达数据也可以在帧中标记出来。”

在未来，这种新方法可以帮助自动生成雷达相机和纯雷达数据集。此外，该团队还探索了一种基于雷达相机的传感器融合方法和一种仅收集雷达数据的概念验证分类方案。

森古普塔说:“我们还建议使用结合空间、多普勒和RCS统计的有效12维雷达特征向量，而不是传统的点云分布或微多普勒数据。”

最后，Sengupta及其同事的研究可以为快速调查和训练开辟新的可能性，并使用传感器融合来分类或跟踪基于深度学习的模型。这些模型可以帮助提高许多机器人系统的性能，从自动驾驶汽车到小型机器人。

标签：

汽车资讯热门资讯