李星宇：智能座舱最理想的交互模式应该是什么样的？

引言智能汽车是机器人的第一形态，相应的智能驾驶舱也引领了机器人时代人机交互的新方向。从历史上看，交互方式的每一次变革都重塑了智能设备的产业格局。就像DOS转向Windows时代带来的产业变革一样，人机自然交互打开了一扇新产业的大门。人机自然交互将改变我们对智能汽车、泛机器人、人工智能的态度。人类最重要的发明是创造了人类互动的语言系统，带来了人类文明；今天，人机自然交互可能是下一个基石发明，它与机器自主决策的强大结合将带来机器文明，重塑人机关系，对我们的社会工作方式和生活方式产生深远影响。主要结论:1 .未来人机交互最重要的趋势是机器从被动响应到主动交互，从人适应机器到机器不断适应人。最终目的是让机器拟人化，图灵测试就是衡量标准。2.在人机共驾阶段，人机交互能力必须与自动驾驶能力相匹配，否则会带来严重的安全问题。智能驾驶和智能驾驶舱的跨领域融合是发展方向。3.未来，实体屏幕和触摸将不再是驾驶舱交互的中心，取而代之的将是自然交互+AR-HUD。4.语音、手势、眼球追踪是自然交互的三轴，传感器、计算能力、算法是物质基础。5.目前驾驶舱以娱乐域为主，但未来驾驶舱内娱乐域和安全域(人机交互和自动驾驶)的定位将发生转移，安全域将成为主控域。6.智能驾驶舱的人机交互是中国智能汽车公司品牌推广的重要突破。人机交互的发展趋势是什么？未来驾驶舱人机交互将何去何从？这个问题的答案可能需要从智能设备的发展历史中去寻找。计算机产业是人机交互技术发展的起源。其实人机交互最开始不叫HMI，叫HCI，也就是人机交互。PC的发展史广为人知。下图是一个简单的发展阶段划分:计算机人机交互的发展史是从DOS系统和键盘开始的，命令行界面的操作对专业技能要求非常高，只有少数专业人士会使用。鼠标和Windows操作系统的出现改变了一切，PC用户数量爆发式增长。接下来，触控成为了更简单直接的操作方式，类似Surface的平板出现了。微软小娜代表了最新的交互方式，我们可以用更自然的方式与机器交互，语音。PC和手机的发展历史，反映了机器与人交互的发展，即从复杂到简单；从抽象操作到自然交互。未来人机交互最重要的趋势是机器从被动响应走向主动交互。沿着这样一个趋势的延长线看，人机交互的最终目的是让机器拟人化。可以说人机交互的发展史就是人适应机器到机器不断适应人的发展史。智能驾驶舱的发展也经历了类似的过程:智能驾驶舱人机交互的发展与计算机有很多相似之处。多模交互是下一代人机交互的理想模型。什么是多模态交互？简单来说，就是用手势、眼球追踪、语音等方式进行交互。这里的情态类似于人的“感官”，多模态就是融合各种感官，对应于人的视觉、听觉、触觉、嗅觉、味觉五种感官。但是多模态交互的命名太专业了，我更愿意称之为自然交互。比如手势，可以说是原生的“鼠标”，不同的手势可以表达丰富的语义。典型的手势语义和相应的自然交互实现是怎样的？智能汽车本质上是载人机器人，机器人最重要的两个能力是自主决策能力和人机交互能力。缺少其中任何一项，都无法有效服务人类。因此，有必要构建智能人机交互能力。如何衡量人机交互的智能？我的一个想法是用图灵测试，即机器在交互行为的表现上是否能与人无区别。如何实现自然交互？传感器、计算能力、算法缺一不可。下图是一个直观的展示:驾驶舱将集成越来越多的传感器，一方面驾驶舱对计算能力的需求将持续飙升，驾驶舱对AI计算能力的需求将上升到30多顶，甚至100顶。另一方面也提供了更好的感知支持。驾驶舱传感器的数量和类型正在迅速增加。AI计算可以实现对人脸、表情、手势、语音等信息的感知，从而实现更加智能的人机交互。驾驶舱人机交互的计算必须依靠边缘计算，而不是云计算。因为三点:可靠性，实时性，隐私保护。个人隐私保护可能是我们这一代人在AI时代面临的最大挑战之一。驾驶舱的私人空间和隐私保护问题比较突出。现在的语音识别大部分还是在云端进行，声纹等生物信息很容易暴露个人身份。通过车端的边缘AI计算，可以去除视频、语音等个人生物信息，转化为语义信息，然后上传到云端，可以有效保护车内个人数据的隐私。自动驾驶时代，交互智能必须匹配驾驶智能。在可预见的未来，人机共驾将是一个长期的状态，驾驶舱内的人机交互是人们了解自动驾驶能力的第一界面。目前智能汽车技术存在进化不平衡的挑战，人机交互能力滞后于自动驾驶能力的发展，导致自动驾驶事故频发，影响自动驾驶的普及。人机联合驾驶的特点是人在回路中。因此，人机交互能力必须与自动驾驶能力相匹配，否则会带来严重的预期功能安全问题，自动驾驶的致命事故几乎都与此有关。即使没有发生事故，如果不了解自动驾驶的状态，人也会产生严重的恐慌和焦虑。例如，自动驾驶系统在实际驾驶条件下经常会出现“幽灵刹车”。如果人机交互界面可以显示自动驾驶的感知结果，驾驶员可能会理解为系统把路上的一个罐子误判为汽车。这就是特斯拉展示越来越多自动驾驶感知结果的原因。随着自主驾驶能力的增强，用户会越来越关注自主驾驶的过程和状态……虚拟三维环境中的系统。人机交互和自动驾驶是相辅相成的，具体功能如下图所示:人机交互和自动驾驶是相辅相成的。比如未来更多人性化的停车应该是人车共享，包括人接管车，车接管人。比如车遇到困难路况，可能会说我没把握，请求接管。再比如人停不下来，AI算法推荐是否开启自动泊车。这种一体化的泊车方案，可以提升智能驾驶舱交互和泊车的整体体验，也可以大大节省硬件成本:通过分时共享AI芯片的资源，可以同时满足驾驶舱感知和APA泊车感知的需求，从而为行业提供了一种高性价比的方案，也让更多的低端机型得到智能化探索。在国内，地平线和英驰正在进行科技合作，并正在推动这一计划的发展。目前智能驾驶舱的交互方式主要是手机Android生态系统的延伸，主要以实体屏幕为支撑。如今屏幕越来越大，甚至达到了60寸，实际上是用低优先级功能占据了高优先级功能的空间，也带来了额外的信息干扰，容易分散人的注意力，影响行车安全。未来实体屏幕还是会存在，但我有一个判断，未来实体屏幕和触摸将不再是驾驶舱交互的中心，取而代之的是自然交互+AR-HUD。下面我们做进一步分析。第一个原因:自动驾驶的人机交互属于温饱问题，属于刚需，属于安全领域，优先级最高；音乐、游戏、舒适的人机交互是小康需求，属于娱乐领域。前面的任务实现后，才有足够的施展空间。下图简要分析和总结了这两个域的功能。驾驶舱内娱乐域和安全域的任务划分因此，未来驾驶舱内娱乐域和安全域(人机交互和自动驾驶)的定位将发生转移，安全域将成为主要控制域。第二个原因:自然交互模式+AR-HUD交互界面更安全，比如通过语音和手势交流，可以避免驾驶员视线偏差，从而提高驾驶安全性。驾驶舱的大屏幕做不到这一点。相比之下，AR-HUD可以显示自动驾驶感知的信息，避免这个问题。第三个原因:自然交互无形，简单，更感性，不会占用车内太多宝贵的物理空间，但可以随时陪伴，给驾乘者更多的信任和安全感。基于以上分析，智能驾驶与智能驾驶舱的跨领域融合是未来确定的发展方向，车载中央计算平台最终诞生。当前发展阶段、前沿实践与挑战目前，驾驶舱语音识别基本已经普及，语音识别主流厂商主要采用端到端算法。在理想的实验环境下，语音识别的准确率可以达到98%以上。DMS正在迅速普及，据预测，到2030年，配备车载摄像头的车辆比例将超过50%。随着DMS的快速普及，下一步将是语音+手势+眼球追踪+AR-HUD交互界面的结合，这是一种对应L3+级别自动驾驶的智能交互模式。行业龙头车企已经开始布局，如下图所示。人机自然交互已经成为车企的竞争热点。中国自主品牌在这方面的实践基本与国外领先品牌不相上下，在迭代速度上甚至更快。2020年，长安推出UNI-T车型，包含多项现役。比如你在接电话，系统会自动降低多媒体音量；再比如，当汽车的中控面板处于离屏状态时，盯着屏幕一秒钟就可以唤醒屏幕。该方案搭载地平线征途2芯片，支持语音、手势、面部表情等命令的交互。自然交互的理想目标是从用户体验出发，提供稳定、流畅、可预测的交互体验。但理想再满，也要从骨感的现实出发，目前还有很多挑战。比如目前自然交互的误识别依然严峻，全工况全天气的可靠性和准确性都不够。比如手势识别，也许你不经意间移动一个手势，就会被误认为是命令动作，这只是无数误识别中的一种。在运动状态下，光照、震动、遮挡等等都是巨大的工程挑战。自然交互的流畅度也是一个亟待解决的问题，需要更高性能的传感器、更强大的计算能力和高效的算法来逐步完善。同时，自然语言理解(NLP)和意图理解还处于早期阶段，需要算法的理论创新。人机自然交互是机器人时代的基石发明。总结在当前激烈的行业竞争中，智能驾驶舱已经成为汽车制造商实现功能差异化的关键措施。驾驶舱内的人机交互与人的交流习惯、语言、文化密切相关，因此必须高度本地化。智能驾驶舱的人机交互是中国智能汽车公司品牌化的重要突破，也是中国智能汽车科技引领全球科技潮流的突破。智能驾驶舱的产业链将不断延伸，更多玩家将进入智能汽车的大生态，智能汽车玩家也将跨界进入更多机器人领域。未来，智能驾驶舱生态系统的发展主题将围绕“生态协同”和“跨界延伸”展开。这场科技革命将产生颠覆性的影响，不仅将开启一个全新的产业生态，也将对我们的社会工作方式和生活方式产生深远的影响。附:李兴禹简介

地平线生态发展与战略规划副总裁李兴禹，专注于自动驾驶、人工智能芯片和边缘计算，负责地平线战略规划和生态建设。李兴禹先生是自动驾驶和汽车芯片行业的资深专家，拥有18年的半导体行业经验。在加入Horizon之前，他是恩智浦(飞思卡尔)应用处理器汽车业务的高级营销经理，也是Slane Micro的电子安全技术专家。引言智能汽车是机器人的第一形态，相应的智能驾驶舱也引领了机器人时代人机交互的新方向。从历史上看，交互方式的每一次变革都重塑了智能设备的产业格局。就像DOS转向Windows时代带来的产业变革一样，人机自然交互打开了一扇新产业的大门。人机自然交互将改变我们对智能汽车、泛机器人、人工智能的态度。人类最重要的发明是创造了人类互动的语言系统，带来了人类文明；今天，人机自然交互可能是下一个基石发明，它与机器自主决策的强大结合将带来机器文明，重塑人机关系，对我们的社会工作方式和生活方式产生深远影响。主要结论:1 .未来人机交互最重要的趋势是机器从被动响应到主动交互，从人适应机器到机器不断适应人。最终目的是让机器拟人化，图灵测试就是衡量标准。2.在人机共驾阶段，人机交互能力必须与自动驾驶能力相匹配，否则会带来严重的安全问题。智能驾驶和智能驾驶舱的跨领域融合是发展方向。3.未来，实体屏幕和触摸将不再是驾驶舱交互的中心，取而代之的将是自然交互+AR-HUD。4.语音、手势、眼球追踪是自然交互的三轴，传感器、计算能力、算法是物质基础。5.目前驾驶舱以娱乐域为主，但未来驾驶舱内娱乐域和安全域(人机交互和自动驾驶)的定位将发生转移，安全域将成为主控域。6.智能驾驶舱的人机交互是中国智能汽车公司品牌推广的重要突破。人机交互的发展趋势是什么？未来驾驶舱人机交互将何去何从？这个问题的答案可能需要从智能设备的发展历史中去寻找。计算机产业是人机交互技术发展的起源。其实人机交互最开始不叫HMI，叫HCI，也就是人机交互。PC的发展史广为人知。下图是一个简单的发展阶段划分:计算机人机交互的发展史是从DOS系统和键盘开始的，命令行界面的操作对专业技能要求非常高，只有少数专业人士会使用。鼠标和Windows操作系统的出现改变了一切，PC用户数量爆发式增长。接下来，触控成为了更简单直接的操作方式，类似Surface的平板出现了。微软小娜代表了最新的交互方式，我们可以用更自然的方式与机器交互，语音。PC和手机的发展历史，反映了机器与人交互的发展，即从复杂到简单；从抽象操作到自然交互。未来人机交互最重要的趋势是机器从被动响应走向主动交互。沿着这样一个趋势的延长线看，人机交互的最终目的是让机器拟人化。可以说人机交互的发展史就是人适应机器到机器不断适应人的发展史。智能驾驶舱的发展也经历了类似的过程:智能驾驶舱人机交互的发展与计算机有很多相似之处。多模交互是下一代人机交互的理想模型。什么是多模态交互？简单来说，就是用手势、眼球追踪、语音等方式进行交互。这里的情态类似于人的“感官”，多模态就是融合各种感官，对应于人的视觉、听觉、触觉、嗅觉、味觉五种感官。但是多模态交互的命名太专业了，我更愿意称之为自然交互。比如手势，可以说是原生的“鼠标”，不同的手势可以表达丰富的语义。典型的手势语义和相应的自然交互实现是怎样的？智能汽车本质上是载人机器人，机器人最重要的两个能力是自主决策能力和人机交互能力。缺少其中任何一项，都无法有效服务人类。因此，有必要构建智能人机交互能力。如何衡量人机交互的智能？我的一个想法是用图灵测试，即机器在交互行为的表现上是否能与人无区别。如何实现自然交互？传感器、计算能力、算法缺一不可。下图是一个直观的展示:驾驶舱将集成越来越多的传感器，一方面驾驶舱对计算能力的需求将持续飙升，驾驶舱对AI计算能力的需求将上升到30多顶，甚至100顶。另一方面也提供了更好的感知支持。驾驶舱传感器的数量和类型正在迅速增加。AI计算可以实现对人脸、表情、手势、语音等信息的感知，从而实现更加智能的人机交互。驾驶舱人机交互的计算必须依靠边缘计算，而不是云计算。因为三点:可靠性，实时性，隐私保护。个人隐私保护可能是我们这一代人在AI时代面临的最大挑战之一。驾驶舱的私人空间和隐私保护问题比较突出。现在的语音识别大部分还是在云端进行，声纹等生物信息很容易暴露个人身份。通过车端的边缘AI计算，可以去除视频、语音等个人生物信息，转化为语义信息，然后上传到云端，可以有效保护车内个人数据的隐私。自动驾驶时代，交互智能必须匹配驾驶智能。在可预见的未来，人机共驾将是一个长期的状态，驾驶舱内的人机交互是人们了解自动驾驶能力的第一界面。目前智能汽车技术存在进化不平衡的挑战，人机交互能力滞后于自动驾驶能力的发展，导致自动驾驶事故频发，影响自动驾驶的普及。人机联合驾驶的特点是人在回路中。因此，人机交互能力必须与自动驾驶能力相匹配，否则会带来严重的预期功能安全问题，自动驾驶的致命事故几乎都与此有关。即使没有发生事故，如果不了解自动驾驶的状态，人也会产生严重的恐慌和焦虑。例如，自动驾驶系统在实际驾驶条件下经常会出现“幽灵刹车”。如果人机交互界面可以显示自动驾驶的感知结果，驾驶员可能会理解为系统把路上的一个罐子误判为汽车。这就是特斯拉展示越来越多自动驾驶感知结果的原因。随着自主驾驶能力的增强，用户会越来越关注自主驾驶的过程和状态……虚拟三维环境中的系统。人机交互和自动驾驶是相辅相成的，具体功能如下图所示:人机交互和自动驾驶是相辅相成的。比如未来更多人性化的停车应该是人车共享，包括人接管车，车接管人。比如车遇到困难路况，可能会说我没把握，请求接管。再比如人停不下来，AI算法推荐是否开启自动泊车。这种一体化的泊车方案，可以提升智能驾驶舱交互和泊车的整体体验，也可以大大节省硬件成本:通过分时共享AI芯片的资源，可以同时满足驾驶舱感知和APA泊车感知的需求，从而为行业提供了一种高性价比的方案，也让更多的低端机型得到智能化探索。在国内，地平线和英驰正在进行科技合作，并正在推动这一计划的发展。目前智能驾驶舱的交互方式主要是手机Android生态系统的延伸，主要以实体屏幕为支撑。如今屏幕越来越大，甚至达到了60寸，实际上是用低优先级功能占据了高优先级功能的空间，也带来了额外的信息干扰，容易分散人的注意力，影响行车安全。未来实体屏幕还是会存在，但我有一个判断，未来实体屏幕和触摸将不再是驾驶舱交互的中心，取而代之的是自然交互+AR-HUD。下面我们做进一步分析。第一个原因:自动驾驶的人机交互属于温饱问题，属于刚需，属于安全领域，优先级最高；音乐、游戏、舒适的人机交互是小康需求，属于娱乐领域。前面的任务实现后，才有足够的施展空间。下图简要分析和总结了这两个域的功能。驾驶舱内娱乐域和安全域的任务划分因此，未来驾驶舱内娱乐域和安全域(人机交互和自动驾驶)的定位将发生转移，安全域将成为主要控制域。第二个原因:自然交互模式+AR-HUD交互界面更安全，比如通过语音和手势交流，可以避免驾驶员视线偏差，从而提高驾驶安全性。驾驶舱的大屏幕做不到这一点。相比之下，AR-HUD可以显示自动驾驶感知的信息，避免这个问题。第三个原因:自然交互无形，简单，更感性，不会占用车内太多宝贵的物理空间，但可以随时陪伴，给驾乘者更多的信任和安全感。基于以上分析，智能驾驶与智能驾驶舱的跨领域融合是未来确定的发展方向，车载中央计算平台最终诞生。当前发展阶段、前沿实践与挑战目前，驾驶舱语音识别基本已经普及，语音识别主流厂商主要采用端到端算法。在理想的实验环境下，语音识别的准确率可以达到98%以上。DMS正在迅速普及，据预测，到2030年，配备车载摄像头的车辆比例将超过50%。随着DMS的快速普及，下一步将是语音+手势+眼球追踪+AR-HUD交互界面的结合，这是一种对应L3+级别自动驾驶的智能交互模式。行业龙头车企已经开始布局，如下图所示。人机自然交互已经成为车企的竞争热点。中国自主品牌在这方面的实践基本与国外领先品牌不相上下，在迭代速度上甚至更快。2020年，长安推出UNI-T车型，包含多项现役。比如你在接电话，系统会自动降低多媒体音量；再比如，当汽车的中控面板处于离屏状态时，盯着屏幕一秒钟就可以唤醒屏幕。该方案搭载地平线征途2芯片，支持语音、手势、面部表情等命令的交互。自然交互的理想目标是从用户体验出发，提供稳定、流畅、可预测的交互体验。但理想再满，也要从骨感的现实出发，目前还有很多挑战。比如目前自然交互的误识别依然严峻，全工况全天气的可靠性和准确性都不够。比如手势识别，也许你不经意间移动一个手势，就会被误认为是命令动作，这只是无数误识别中的一种。在运动状态下，光照、震动、遮挡等等都是巨大的工程挑战。自然交互的流畅度也是一个亟待解决的问题，需要更高性能的传感器、更强大的计算能力和高效的算法来逐步完善。同时，自然语言理解(NLP)和意图理解还处于早期阶段，需要算法的理论创新。人机自然交互是机器人时代的基石发明。总结在当前激烈的行业竞争中，智能驾驶舱已经成为汽车制造商实现功能差异化的关键措施。驾驶舱内的人机交互与人的交流习惯、语言、文化密切相关，因此必须高度本地化。智能驾驶舱的人机交互是中国智能汽车公司品牌化的重要突破，也是中国智能汽车科技引领全球科技潮流的突破。智能驾驶舱的产业链将不断延伸，更多玩家将进入智能汽车的大生态，智能汽车玩家也将跨界进入更多机器人领域。未来，智能驾驶舱生态系统的发展主题将围绕“生态协同”和“跨界延伸”展开。这场科技革命将产生颠覆性的影响，不仅将开启一个全新的产业生态，也将对我们的社会工作方式和生活方式产生深远的影响。附:李兴禹简介

地平线生态发展与战略规划副总裁李兴禹，专注于自动驾驶、人工智能芯片和边缘计算，负责地平线战略规划和生态建设。李兴禹先生是自动驾驶和汽车芯片行业的资深专家，拥有18年的半导体行业经验。在加入Horizon之前，他是恩智浦(飞思卡尔)应用处理器汽车业务的高级营销经理，也是Slane Micro的电子安全技术专家。

标签：长安特斯拉

汽车资讯热门资讯