三菱电机研发场景感知交互技术 可给驾驶员提供自然直观的指导

据国外媒体报道，三菱电机近日宣布，开发出世界上首个能够与人类进行高度自然和直观交互的技术，该技术基于场景感知能力，可以将多模态感知信息翻译成自然语言。这项名为场景感知交互的新技术集成了三菱电机专有的Maisart compact AI技术，可以分析多模态感知信息，并通过上下文生成的自然语言实现与人类高度自然直观的交互。

(图片来源:三菱电机)该技术基于多模态感知信息，如摄像头捕捉的图像和视频、麦克风记录的音频信息和激光雷达测量的定位信息，来识别情境中的物体。为了对这些不同类型的信息进行优先排序，三菱电机开发了注意力多模态融合技术，该技术可以自动对突出显示的单峰信息进行加权，并选择合适的词语来准确描述场景。在使用通用测试集的基准测试中，注意力多模态融合技术使用音频和视觉信息获得基于共识的图像描述评估(CIDEr)评分，比仅使用视觉信息的高29%。三菱电机将注意力多模态融合与场景理解技术和基于情境的自然语言生成技术相结合，实现了强大的端到端场景感知交互系统，可以在不同场景下与用户实现高度直观的交互。

(图片来源:三菱电机)场景感知交互技术可用于汽车导航应用，为驾驶员提供直观的路线导航。例如，系统不再指示驾驶员“50米内右转”，而是提供场景感知引导，如“邮箱前右转”或“灰色汽车后右转”。此外，系统还会在预测到附近物体的行驶路径与车辆的行驶路径相交时产生语音报警，比如“行人正在过马路”。为了实现这个功能，系统会对场景进行分析，识别场景中隐藏的视觉地标和动态元素，然后利用这些东西识别物体和事件，生成直观的句子引导进行导航。

(图片来源:三菱电机)最近，使用深度神经网络的物体识别、视频描述、自然语言生成和口语对话等技术取得了许多进展，可以使机器更好地理解周围环境，更自然、更直观地与人类进行交互。场景感知交互技术有望具有广泛的适用性，包括用于车载信息娱乐系统的人机界面、与建筑物和工厂自动化系统中的机器人的交互、用于监控人类健康的系统、用于为人类解释复杂场景的监控系统、用于鼓励社交距离的系统、用于支持公共场所中的无触摸操作设备的系统等等。据国外媒体报道，三菱电机近日宣布，开发出世界上首个能够与人类进行高度自然和直观交互的技术，该技术基于场景感知能力，可以将多模态感知信息翻译成自然语言。这项名为场景感知交互的新技术集成了三菱电机专有的Maisart compact AI技术，可以分析多模态感知信息，并通过上下文生成的自然语言实现与人类高度自然直观的交互。

(图片来源:三菱电机)该技术基于多模态感知信息，如摄像头捕捉的图像和视频、麦克风记录的音频信息和激光雷达测量的定位信息，来识别情境中的物体。为了对这些不同类型的信息进行优先排序，三菱电机开发了注意力多模态融合技术，该技术可以自动对突出显示的单峰信息进行加权，并选择合适的词语来准确描述场景。在使用通用测试集的基准测试中，att……tion多模态融合技术利用音频和视觉信息获得基于共识的图像描述评估(CIDEr)评分，比仅利用视觉信息的评分提高了29%。三菱电机将注意力多模态融合与场景理解技术和基于情境的自然语言生成技术相结合，实现了强大的端到端场景感知交互系统，可以在不同场景下与用户实现高度直观的交互。

(图片来源:三菱电机)场景感知交互技术可用于汽车导航应用，为驾驶员提供直观的路线导航。例如，系统不再指示驾驶员“50米内右转”，而是提供场景感知引导，如“邮箱前右转”或“灰色汽车后右转”。此外，系统还会在预测到附近物体的行驶路径与车辆的行驶路径相交时产生语音报警，比如“行人正在过马路”。为了实现这个功能，系统会对场景进行分析，识别场景中隐藏的视觉地标和动态元素，然后利用这些东西识别物体和事件，生成直观的句子引导进行导航。

(图片来源:三菱电机)最近，使用深度神经网络的物体识别、视频描述、自然语言生成和口语对话等技术取得了许多进展，可以使机器更好地理解周围环境，更自然、更直观地与人类进行交互。场景感知交互技术有望具有广泛的适用性，包括用于车载信息娱乐系统的人机界面、与建筑物和工厂自动化系统中的机器人的交互、用于监控人类健康的系统、用于为人类解释复杂场景的监控系统、用于鼓励社交距离的系统、用于支持公共场所中的无触摸操作设备的系统等等。

标签：三菱发现

汽车资讯热门资讯