澳门科技大学韩子天：车载机器人的拟人化与主动交互

2021年6月17日至19日，由中国汽车工业协会主办的第十一届中国汽车论坛在嘉定举行。站在新五年的起点上，本届论坛以“新起点、新战略格局——推动汽车产业高质量发展”为主题，设置“一次闭门峰会+一次会议论坛+两次中外论坛+12场主题论坛”，全方位汇聚政府领导、全球汽车企业领袖、汽车行业精英，共商汽车产业强市大计，落实国家提出的“二氧化碳排放峰值、碳中和”战略目标要求，助力打造。其中，澳门科技大学澳门系统工程学院副教授韩在6月19日上午举行的主题论坛“智能驾驶舱创新技术论坛”上发表主题演讲。以下为现场演讲:

大家早上好！感谢建民教授的支持，感谢摩城的领导们，感谢我所有的同事们周六早上聚在一起分享和学习智能驾驶舱的新技术。我演讲的主题是车载机器人的拟人化和主动交互。我给大家简单介绍一下刚刚发布的白皮书。这是下载链接。有兴趣的可以扫描二维码。刚才王教授也提到了，《智能汽车车载机器人技术白皮书》有一个题目，是澳门首创发展资助的。考察了国内外40多家主机厂，交流和提炼了他们在车载机器人方面的想法、需求和进展。经过十几次会议，目录已经定稿。白皮书的目录主要是先定义车载机器人。车上的车载机器人既是虚拟的，也是物理的，会定义。特别是对于虚拟机器人，进行了描述和陈述。目前确实有很多主机厂选择虚拟助理的方式。游方教授的专题摘要有一个小章节是讲车载机器人在汽车上的使用，所以有一个专门的章节讲车载机器人能做什么，能给我们带来什么。第二章是关键技术，包括硬件、软件、操作系统、算法和平台软件。更重要的一章是关于场景的。机器人是AI的载体，装载后需要在车内呈现场景。场景呈现是一种“场景行为”，因为机器人多了，和平时期场景中又多了一种行为。场景行为的定义与中科创达进行了沟通。他们本来有一个很好的场景定义工具软件叫Kanzi。基于Kanzi的扩展概念，如何用Kanzi定义车载机器人的场景和行为。车上有人有车，行为可以很好的定义机器人。最后列出了目前已经研发和示范车载机器人的团队和企业，以供参考。正如王教授刚才所说，白皮书是今年年初编制的，市场是不断变化的。因为时间节点，所以先敲定了。定稿并不意味着工作会停止，因为工作才刚刚开始，已经和电子工业出版社签约，准备年底出正式的书。白皮书是一个讨论的话题。我相信在座的专家比我们有更多的经历、感受和体会，不妨作为讨论的话题。希望大家分享一下自己的想法，不排除会成为我们的篇章。感谢您对白皮书的积极关注。你可以分享给你的朋友，帮我们收集意见。车载机器人是一种交互式进化。最早的汽车是基于案例的，后来进化到HMI(人机界面)，屏幕和手指交互，传递控制信息。现在我们已经看到，在为许多未来汽车引入Nomi之后，将车载机器人从实验室带到实际生产的汽车上是一个伟大的创新。记得2017年底Nomi发布，2018年初接到电话。上海的一些朋友也在做智能交互，联系了一些长安汽车、北汽新能源、SAIC等。，并开始讨论车载机器人的预测，后来做了车载机器人的预测项目和量产项目。一方面，项目告诉我们，车载机器人是方向，智能座舱内的交互更注重拟人化和主动交互。希望是拟人化的交互场景而不是冷冰冰的屏幕。今天给大家分享未来车载机器人的两个重要技术方向，白皮书里也有写:第一，拟人化。有屏就很难拟人化，有屏就很难想象拟人化。有一些形象，无论是实体的还是虚拟的，提醒我们拟人化是必要的。二是主动互动。主动交互是目前交互设计中比较重要的。现在很多交互都是被动的，一问一答，一个指令一个回答，或者一个指令过去没有回答。主动交互可以体现机器人的拟人化，让我们感受到它的智能。只有我们理解你，我们才能主动和你说话。如果我们不理解你，我们可以……只听你的指示。今天我主要分享两点:一是拟人，二是主动互动。第一，车载机器人拟人化。车载机器人的定义已经讨论修改了很多轮。车载机器人是服务机器人中的社交机器人，也是个人交互机器人。昨天，我在购物中心吃晚饭。吃完饭出来，看到几个机器人站在那里。这也是服务机器人，但是服务的人群更多，尤其是公共机器人。社交机器人强调社交属性、情感属性和个人属性。往往这类机器人需要拟人化，功能主要是提供驾驶辅助信息，提高人机交互能力。机器人是硬件，只有搭载了AI技术才是智能的。他们是携带者。机器人本身无法完成功能，需要技术来完成。一般来说，服务机器人有三种智能:视觉、语音、前端智能和环境感知。这也是人类所拥有的智能。他们可以看到东西，并用声音说话。搭载技术的目的是让它模仿和重复人类的行为，提高整体驾驶体验。车载机器人主要是想摆脱车内的设备感和指挥感，从HMI进化到HRI。(如图)左边是麻省理工学院在2009年做出的世界首个AIDA感官交互和驾驶辅助。名字很清楚的说明了车载机器人的初心是情感互动和陪伴。想象一下，驾驶舱旁边有一个副驾驶。为什么会有副驾驶？因为我们需要陪伴，因为你会打瞌睡，赫哲，你需要有人帮你找地图，但是你的手在方向盘上。麻省理工的AIDA很形象的完成了这两个任务，但是没有量产。右边是我们团队两年前在实验室做的，主要是让机器人模拟人。车载机器人模拟重复的人的行为，与人的行动产生信任。这个模型当时在实验室，现在已经上了实车。拟人化交互有五个方面:(1)语音交互。毕竟车内大量的交互和指令都是通过语音进行的，所以需要让语音交互更加自然，更加贴近人类语言，提升拟人化程度。(2)多通道融合。包括人脸、手势等交互，多通道融合。(3)代理人要有明确的人。它不是一台机器。它应该有名字，有个性，有年龄，需要有人来设置。(4)要有主动互动的能力。机器人不同于设备。他们可以主动，而且要主动体现机器人的性能。(5)情绪判断和反馈智力。这五点是目前技术上实现拟人化的途径。第二，主动互动。除了拟人化，主动交互可以让汽车变得更加智能，也可以在一定程度上替代重复性的工作。在学习了你的重复性和习惯性行为后，它可以主动问你一些行为，帮助你执行一些行为。帮我们解放了重复劳动的场景。主动交互是未来人机交互和人工智能系统的重要发展方向。如何兑现主动互动？可以从三个方面实现主动交互:一是给机器人添加主动问候。此外，可以积极研究本地语音语料库；最后，用户习惯了内存。这是我们目前在主机厂兑现的三点。主动互动不在于定义或者用语言怎么说，而在于这三点。如果你有更多的经验，可以和我们分享。前两点还可以，很容易实现。最后一点如何实现？我们做了实现方法，实现方法要从人工智能开始。目前车内的智能大部分是深度学习，包括用户行为习惯。这有缺点。目前深度学习有两个缺点:(1)深度学习是一个归纳系统，只找出大部分人的习惯，不能带条件学习，但是没有办法总结出深度网络的概括特征。他会帮你整理的。深度学习系统是一个很好的归纳系统，就是发现共性。但是如何找到个性呢？如果找不到，深网训练出来的模式就不会有个性。很多算法做情感识别，表情识别，但是只找出共性，有些人的个性是满足不了的。深度网络在汽车上的应用有很大的缺陷。车主在买车后已经在车上行动了十年甚至更长时间，很难将行为数据反馈到大数据中心和深度学习中心，让他根据个人习惯使用你的规则，强制别人的规则。深度学习存在一些不足。我们团队有一个算法叫宽度学习(BLS)，这几年引起了关注。简单来说，深度学习是归纳系统，宽度学习是记忆系统。记忆系统可以通过少量的数据显示你的习惯，所谓的车内个体的行为数据。算法已经在主机厂实现，发现的行为习惯可以针对个体进行预测。整理出规律后，再进行预测，预测形成主动互动。这是实现主动互动的方式。因为时间关系，以后我会和大家分享车载机器人和交互系统中的拟人化和主动交互。再次邀请大家对《智能汽车车载机器人技术白皮书》多提宝贵意见。非常感谢，谢谢！2021年6月17日至19日，由中国汽车工业协会主办的第十一届中国汽车论坛在嘉定举行。站在新五年的起点上，本届论坛以“新起点、新战略格局——推动汽车产业高质量发展”为主题，设置“一次闭门峰会+一次会议论坛+两次中外论坛+12场主题论坛”，全方位汇聚政府领导、全球汽车企业领袖、汽车行业精英，共商汽车产业强市大计，落实国家提出的“二氧化碳排放峰值、碳中和”战略目标要求，助力打造。其中，澳门科技大学澳门系统工程学院副教授韩在6月19日上午举行的主题论坛“智能驾驶舱创新技术论坛”上发表主题演讲。以下为现场演讲:

大家早上好！感谢建民教授的支持，感谢摩城的领导们，感谢我所有的同事们周六早上聚在一起分享和学习智能驾驶舱的新技术。我演讲的主题是车载机器人的拟人化和主动交互。我给大家简单介绍一下刚刚发布的白皮书。这是下载链接。有兴趣的可以扫描二维码。刚才王教授也提到了，《智能汽车车载机器人技术白皮书》有一个题目，是澳门首创发展资助的。考察了国内外40多家主机厂，交流和提炼了他们在车载机器人方面的想法、需求和进展。经过十几次会议，目录已经定稿。白皮书的目录主要是先定义车载机器人。车上的车载机器人既是虚拟的，也是物理的，会定义。特别是对于虚拟机器人，进行了描述和陈述。目前确实有很多主机厂选择虚拟助理的方式。游方教授的专题摘要有一个小章节是讲车载机器人在汽车上的使用，所以有一个专门的章节讲车载机器人能做什么，能给我们带来什么。第二章是关键技术，包括硬件、软件、操作系统、算法和平台软件。更重要的一章是关于场景的。机器人是AI的载体，装载后需要在车内呈现场景。场景呈现是一种“场景行为”，因为机器人多了，和平时期场景中又多了一种行为。场景行为的定义与中科创达进行了沟通。他们本来有一个很好的场景定义工具软件叫Kanzi。基于Kanzi的扩展概念，如何用Kanzi定义车载机器人的场景和行为。车上有人有车，行为可以很好的定义机器人。最后列出了目前已经研发和示范车载机器人的团队和企业，以供参考。正如王教授刚才所说，白皮书是今年年初编制的，市场是不断变化的。因为时间节点，所以先敲定了。定稿并不意味着工作会停止，因为工作才刚刚开始，已经和电子工业出版社签约，准备年底出正式的书。白皮书是一个讨论的话题。我相信在座的专家比我们有更多的经历、感受和体会，不妨作为讨论的话题。希望大家分享一下自己的想法，不排除会成为我们的篇章。感谢您对白皮书的积极关注。你可以分享给你的朋友，帮我们收集意见。车载机器人是一种交互式进化。最早的汽车是基于案例的，后来进化到HMI(人机界面)，屏幕和手指交互，传递控制信息。现在我们已经看到，在为许多未来汽车引入Nomi之后，将车载机器人从实验室带到实际生产的汽车上是一个伟大的创新。记得2017年底Nomi发布，2018年初接到电话。上海的一些朋友也在做智能交互，联系了一些长安汽车、北汽新能源、SAIC等。，并开始讨论车载机器人的预测，后来做了车载机器人的预测项目和量产项目。一方面，项目告诉我们，车载机器人是方向，智能座舱内的交互更注重拟人化和主动交互。希望是拟人化的交互场景而不是冷冰冰的屏幕。今天给大家分享未来车载机器人的两个重要技术方向，白皮书里也有写:第一，拟人化。有屏就很难拟人化，有屏就很难想象拟人化。有一些形象，无论是实体的还是虚拟的，提醒我们拟人化是必要的。二是主动互动。主动交互是目前交互设计中比较重要的。现在很多交互都是被动的，一问一答，一个指令一个回答，或者一个指令过去没有回答。主动交互可以体现机器人的拟人化，让我们感受到它的智能。只有我们理解你，我们才能主动和你说话。如果我们不理解你，我们可以……只听你的指示。今天我主要分享两点:一是拟人，二是主动互动。第一，车载机器人拟人化。车载机器人的定义已经讨论修改了很多轮。车载机器人是服务机器人中的社交机器人，也是个人交互机器人。昨天，我在购物中心吃晚饭。吃完饭出来，看到几个机器人站在那里。这也是服务机器人，但是服务的人群更多，尤其是公共机器人。社交机器人强调社交属性、情感属性和个人属性。往往这类机器人需要拟人化，功能主要是提供驾驶辅助信息，提高人机交互能力。机器人是硬件，只有搭载了AI技术才是智能的。他们是携带者。机器人本身无法完成功能，需要技术来完成。一般来说，服务机器人有三种智能:视觉、语音、前端智能和环境感知。这也是人类所拥有的智能。他们可以看到东西，并用声音说话。搭载技术的目的是让它模仿和重复人类的行为，提高整体驾驶体验。车载机器人主要是想摆脱车内的设备感和指挥感，从HMI进化到HRI。(如图)左边是麻省理工学院在2009年做出的世界首个AIDA感官交互和驾驶辅助。名字很清楚的说明了车载机器人的初心是情感互动和陪伴。想象一下，驾驶舱旁边有一个副驾驶。为什么会有副驾驶？因为我们需要陪伴，因为你会打瞌睡，赫哲，你需要有人帮你找地图，但是你的手在方向盘上。麻省理工的AIDA很形象的完成了这两个任务，但是没有量产。右边是我们团队两年前在实验室做的，主要是让机器人模拟人。车载机器人模拟重复的人的行为，与人的行动产生信任。这个模型当时在实验室，现在已经上了实车。拟人化交互有五个方面:(1)语音交互。毕竟车内大量的交互和指令都是通过语音进行的，所以需要让语音交互更加自然，更加贴近人类语言，提升拟人化程度。(2)多通道融合。包括人脸、手势等交互，多通道融合。(3)代理人要有明确的人。它不是一台机器。它应该有名字，有个性，有年龄，需要有人来设置。(4)要有主动互动的能力。机器人不同于设备。他们可以主动，而且要主动体现机器人的性能。(5)情绪判断和反馈智力。这五点是目前技术上实现拟人化的途径。第二，主动互动。除了拟人化，主动交互可以让汽车变得更加智能，也可以在一定程度上替代重复性的工作。在学习了你的重复性和习惯性行为后，它可以主动问你一些行为，帮助你执行一些行为。帮我们解放了重复劳动的场景。主动交互是未来人机交互和人工智能系统的重要发展方向。如何兑现主动互动？可以从三个方面实现主动交互:一是给机器人添加主动问候。此外，可以积极研究本地语音语料库；最后，用户习惯了内存。这是我们目前在主机厂兑现的三点。主动互动不在于定义或者用语言怎么说，而在于这三点。如果你有更多的经验，可以和我们分享。前两点还可以，很容易实现。最后一点如何实现？我们做了实现方法，实现方法要从人工智能开始。目前车内的智能大部分是深度学习，包括用户行为习惯。这有缺点。目前深度学习有两个缺点:(1)深度学习是一个归纳系统，只找出大部分人的习惯，不能带条件学习，但是没有办法总结出深度网络的概括特征。他会帮你整理的。深度学习系统是一个很好的归纳系统，就是发现共性。但是如何找到个性呢？如果找不到，深网训练出来的模式就不会有个性。很多算法做情感识别，表情识别，但是只找出共性，有些人的个性是满足不了的。深度网络在汽车上的应用有很大的缺陷。车主在买车后已经在车上行动了十年甚至更长时间，很难将行为数据反馈到大数据中心和深度学习中心，让他根据个人习惯使用你的规则，强制别人的规则。深度学习存在一些不足。我们团队有一个算法叫宽度学习(BLS)，这几年引起了关注。简单来说，深度学习是归纳系统，宽度学习是记忆系统。记忆系统可以通过少量的数据显示你的习惯，所谓的车内个体的行为数据。算法已经在主机厂实现，发现的行为习惯可以针对个体进行预测。整理出规律后，再进行预测，预测形成主动互动。这是实现主动互动的方式。因为时间关系，以后我会和大家分享车载机器人和交互系统中的拟人化和主动交互。再次邀请大家对《智能汽车车载机器人技术白皮书》多提宝贵意见。非常感谢，谢谢！

标签：发现长安

汽车资讯热门资讯