Cruise利用游戏动作捕捉技术 教自动驾驶汽车读懂人类的身体语言

在一条四车道的街道上，有两条车道被工人占用，用来修补道路上的坑洞。一名工人左手拿着停车标志，挥舞着右手示意汽车通过。如果是人类驾驶员，他们会毫不犹豫地跟随手势或标志，不断平稳地向前行驶。然而，对于自动驾驶汽车来说，它可能会停下来，因为它可能无法理解标志或手势。

图片来源：Cruise是一个司机、人类和计算机每天都要面对的复杂情况。在这种情况下，解读肢体语言至关重要。自动驾驶汽车如何在不影响交通的情况下安全无缝地应对这些挑战？这就要求自动驾驶汽车理解用于引导人类驾驶员处理事故的常见手势，以及行人处理事情时的手势和肢体语言。多年来，世界各地的自动驾驶汽车开发商一直在努力让自动驾驶汽车理解一些基本的手势，最初是为了理解骑自行车的人发出的信号。一般来说，开发人员依靠机器学习来增强汽车识别真实情况的能力，并增强他们对如何处理情况的理解。据国外媒体报道，对于克鲁斯来说，他们从200多辆自动驾驶汽车中收集了大量数据，这些汽车的学习速度很快，因为它们在美国最复杂的驾驶环境之一旧金山的街道上行驶。然而，Cruise意识到，机器学习模型可能并不总是有足够的训练数据，因为汽车在现实世界中并不经常看到重要的手势。自动驾驶汽车需要从不同的角度、不同的距离和不同的照明条件来识别每一种情况，这些情况的结合将产生无数的可能性。如果我们仅仅依靠汽车的真实体验，那么需要几年的时间才能获得足够的信息。因此，Cruise找到了一个创造性的解决方案——人类手势的动作捕捉技术。这项技术通常被游戏开发商用来创建角色，Cruise一直在雇佣游戏开发商来模拟真实世界的细节并捕捉数据，以教自动驾驶汽车理解手势。

图片来源：Cruise首先，Cruise数据收集团队已经建立了一个完整的清单，列出了人类利用身体与世界和他人互动的方式，例如乘坐出租车、走路时打电话，或者在街上行走时避免行人建筑。一开始，Cruise自动驾驶汽车以可能被误解的指令开始，比如行人向朋友挥手。接下来，Cruise团队在没有向车辆做手势的情况下在车辆附近进行了测试，例如停车人员在车辆旁边的车道上挥手示意驶入车库，建筑工人举着要求车辆暂时停车的标志，等等。最后，Cruise提出了一份清单，其中包含通过手势传达的五个关键信息：停车、出发、左转、右转和“不”。此外，Cruise采用了被广泛接受的美国手势，并假设车辆向右行驶。创建这样的数据集需要使用运动捕捉技术。有两种类型的运动捕捉系统，光学的和非光学的。光学运动捕捉技术使用分布在网格结构上的摄像机，这种摄像机的视频流可以用于定位演员全身服上视觉标记的3D位置。有多种版本的此类系统可以捕捉非常详细的信息，包括面部表情。然而，光学运动捕捉必须在工作室中使用复杂的多摄像头设置进行。因此，Cruise采用了一种非光学的、基于传感器的运动捕捉技术。这项技术依赖于微机电系统，这些系统易于携带、无线，不需要专门的工作室，因此具有很大的灵活性，可以在现实世界中使用。

图片来源：CruiseCruise的运动捕捉套装每件都包含19个传感器包，连接在身体的关键部位，如头部、胸部、臀部、肩部、上臂、前臂和腿部。每个传感器包大约有一枚银币大小，包括一个加速度计、一个陀螺仪和一个磁力计。这种类型的设备连接到一个包含电池组、控制总线和Wi-Fi无线电的皮带上，传感器数据可以无线传输到运行专用软件的来自工程团队的具有不同身体特征的测试人员穿上动作捕捉服，并将其带到相对没有电子干扰的地方。每个工程师首先需要摆出T形姿势来校准运动捕捉系统。然后，工程师做了一个又一个手势，完成了清单上的所有位置，并连续7天重复。在某些情况下，他们分别使用左手和右手，有时还同时使用双手。Cruise还要求工程师做出不同的手势。例如，对在施工区域超速行驶的车辆做出紧急停车手势可能会导致更强的力量。最终，Cruise获得了239段3秒的视频数据。然后，Cruise将这些数据输入到机器学习模型中。首先，验证了所有手势都被正确记录，没有任何额外的噪音，并且没有不正确旋转的传感器提供了不正确的数据。然后，工程师通过软件运行手势序列，该软件可以确认序列中每个关节的位置和方向。由于这些位置最初是以3D形式获得的，该软件可以计算每个序列的多个2D视图，连续增加旋转并模拟10个不同的视点，从而扩展手势数据集。此外，Cruise还随意使用身体的不同点来模拟现实世界中的隐藏点，然后增加旋转来创建不同的视角。上述方法不仅提供了由不同的人从不同的角度制作的各种姿势数据集，而且提供了非常明确的数据，即无论服装风格、颜色或照明条件如何，人类姿势的骨骼结构都是一致的。这种类型的数据可以使Cruise能够更有效地训练机器学习系统。

图片来源：Cruise的汽车一旦接受了动作捕捉数据训练，就可以更好地控制城市驾驶中的各种场景。其中之一是道路建设。有了手势识别系统，Cruise汽车将能够在理解手势的同时安全地绕过多名工人。此外，Cruise计划扩展数据集，以便自动驾驶汽车能够更好地理解骑自行车的人的手势。例如，左手向上，肘部呈90度，这意味着骑车人需要右转；右臂的垂直向外运动也表明了这一含义。Cruise的自动驾驶汽车已经可以识别骑手，并自动减速为骑手腾出空间。然而，如果自动驾驶汽车能够理解手势的含义，它可以为骑手留出足够的空间来进行具有一定含义的操作，这样汽车就不需要停车，造成不必要的交通堵塞。

标签：

汽车资讯热门资讯