2021HMI大会丨纪大伟：实时3D技术引领次世代HMI的发展与变革

2021年4月13日，由Gaspar和慕尼黑上海电子展联合主办的“2021中国汽车HMI创新大会”隆重举行。本次大会旨在聚集汽车HMI领域的优秀人才、UX/UI设计师和前瞻规划研究者，分享全方位汽车人机交互领域的创新理念、技术趋势、行业焦点、实践挑战和应用解决方案。大会期间，Epic Games中国区技术客户经理纪大伟发表了《实时3D技术引领下一代HMI的发展与变革》主题演讲。

以下为演讲实录:

大家好，我是Epic Games的纪大伟，很荣幸在这里代表公司分享虚幻引擎中的一整套实时工作流程和我们的HMI案例。同时，我也会就以虚幻引擎为核心的整套实时技术，以及Epic打造的生态圈对未来智能驾驶舱HMI的影响，给大家做一个额外的说明。

Epic Games成立至今近30年，一直致力于即时引擎的技术研发。Epic Games总部位于美国，在全球超过15个国家设立了52个办事处，我们在全球拥有3000名员工，保持着稳定的增长。虚幻引擎(Unreal engine)专注于实时、高质量和交互式的3D技术，在世界范围内获得了许多国际奖项，包括两项艾美奖。

现在全球各行业的虚幻引擎用户超过1450万。我们不仅开发和推广引擎，还利用这些引擎开发独立游戏。我们开发了世界闻名的游戏《堡垒之夜》。到目前为止，虚幻发动机已经得到了世界各行各业的认可，尤其是汽车行业。我们与全球十大量产汽车厂商和顶级超跑厂商都有合作。例如，法拉利、兰博基尼、通用汽车、宝马和奔驰都是我们的客户。接下来，我们来看一个视频。

-—录像机—(视频01)

通过刚才的视频我们可以知道，虚幻引擎实时技术完全可以应用在汽车行业的很多细分领域，比如可以创建实时的汽车设计审核和可视化项目；你也可以创建一个非常高质量的实时汽车配置器，并将其部署到云上，让更多的用户和买家了解你的产品。你甚至可以使用虚幻引擎建立一个全数字化的虚拟工厂来验证你的生产线。还可以利用虚幻引擎虚拟制作技术，足不出户完成汽车广告的商业大片。

今天我们要介绍的是由最重要的实时虚幻引擎技术打造的下一代HMI。经过调查，我们发现市面上80%的OS都是基于Android的。两年前，我们完成了Android的移植。右边是Android的原生OS，左边是Android的原生UI。接下来，因为我们和很多主机厂做过量产车的HMI项目，他们对安全性的要求非常高，所以我们进一步从安卓跨界到QNX，实现量产。

我们来看一个案例——悍马。通用汽车的GMC Hummer EV是世界上第一个使用游戏引擎开发的HMI项目。悍马EV本身就有很多功能，我们用最先进的3D技术来解读和表达。在接下来的影片中，有很多基于虚幻引擎的HMI亮点。

—录像机—

这是一个非常酷的宣传片，通过结合实拍和大量HMI交互功能，非常好的诠释了悍马EV的强大。接下来，让我们走进悍马EV的内饰，看看有哪些亮点。请看大屏幕。

—录像机—

这个短视频也有很多亮点。第一，仪表盘12寸，中控触摸屏13.5寸，都是虚幻引擎的实时技术支持。我们以后会继续支持悍马EV项目。

接下来我们来看一个悍马EV功能视频。首先，第一个功能是螃蟹模式，即四个车轮可以同时转向一个角度，可以帮助车主在极端越野情况下脱困。第二个功能叫做Watt to freedom，它可以在驾驶员启动后降低悍马EV底盘。之后，司机可以按照车上的指示先刹车，再踩油门。当刹车抬起，可以看到动能已经开始传递，汽车由静止转为行驶状态。

接下来，组合仪表(默认为2D)显示常规信息。车主可以在第一时间切换到具有实时技术的3D仪器，切换后再得到2D罗盘和3D轮缆显示。

中控面板集成了很多常见的汽车功能，比如音乐播放、导航等。此外，中控面板支持三种用户自定义布局编辑，所有3D和2D都显示在这里，用户可以根据自己的习惯自定义；更酷的是还有驱动切换的功能。切换到越野模式时，会有非常酷的实时渲染动画。悍马EV是一款越野车，不可避免的需要帮助驾驶员规避道路上的很多风险，所以这里我们提供了一个3D悍马模型，通过从外部获取的传感器数据，可以直接连接到车辆上，可以实时动态显示当前车辆姿态，帮助驾驶员在水平和垂直两个方向规避风险。当路面异常复杂或颠簸时，3D车模会做出相应的联动显示，帮助用户了解当前车况。

大家可以看到，短HMI功能视频中有很多亮点，打破了我们对传统汽车发动机的认识，甚至加入了一些科幻元素，这些都离不开虚幻引擎实时技术的支持。

因为这个项目效果不错，通用开始了第二个项目，就是凯迪拉克Lyriq。它同样使用虚幻引擎开发一整套HMI系统，但不同的是，它倾向于以科技和豪华为主，采用曲面屏和多屏，通用汽车自动驾驶系统背后的3D技术支持也是虚幻引擎。让我们通过下面的短片来了解一下。

—录像机—

通过对两款量产车型的了解，可以看出下一代3D HMI是不可逆转的趋势，而且在这里可以透露的是，通用官方已经宣布两款车都采用高通高端芯片，这款车将在国内投产，并会在近期的上海车展上展示。所以3D HMI汽车其实离我们很近。

接下来，还有一个非常酷的HMI保护套。我们与北美的一家设计公司Siili Auto合作。它的主要风格是2D，扁平而简单。让我们来看看吧。值得注意的是，这个系统的开发并没有写一行代码，而是利用虚幻引擎的蓝图和UMG系统完成的。

—录像机—

接下来，今天的重点是整套技术方案。我们不仅仅是一家引擎开发公司，我们还用自己的引擎做出优秀的实时交互产品。在这个过程中，我们看到HMI开发和游戏开发有很多交集。首先，3D效果是非常硬核的要求；我们还提供开源C++代码供开发者免费获取；此外，我们有一套完整的工具来帮助您在开发过程中节省成本。对于来自主机厂开发部门的小伙伴，大家都会很好奇。虚幻引擎的工具很酷。如何以最低的成本集成到现有的汽车系统中？这个问题完全不用担心。如果你有足够的开发能力，可以用虚幻引擎开发一整套应用。如果考虑成本的话，可以把unreal engine完整的3D解决方案当做一个库，直接植入到你现有的车载系统中。此外，在虚幻引擎实时渲染方面，每个UE实例都可以为屏幕中的3D视口渲染自己的内容。如果芯片属于比较高端的，可以支持多屏。我们专门开发了一套管道工具，帮助用户将现有DCC工具中生成的数据无缝导入UE进行HMI开发，DATASMITH帮你实现数据自动转换。本来外部数据进入引擎进行编辑，在没有专门工具辅助的情况下还是会有额外的成本，但是现在我们已经彻底解决了这个问题。

同时，我们在虚幻商城正式发布了大量免费资源。比如我们上个月和奥迪合作，直接把他们的A5车免费送给所有虚幻用户。大家可以直接在商城体验下载。几周前，我们与另一个合作伙伴Vectorform合作。他们开发了一整套虚幻引擎的车机学习场景，你可以免费下载学习测试。我们还开发了一套完整的虚幻发动机专用汽车素材库，拥有140多种PBR素材，可以随时在商场下载使用。而且我们还提供了非常丰富的一套专门展示汽车的场景资源，一整套的官方资源让大家在开发汽车机器的过程中能够最大程度的节约成本。

虚幻引擎中的整个HMI开发过程是一个设计驱动的方案。2D和3D交互可以在蓝图编辑器中完成，UI动画和交互可以在UMG编辑器中完成，Unreal Insights可以帮助您进行调试、性能优化和分析。作为一个实时引擎，任何时候，我们不仅关注效果，也关注性能。任何与性能相关的细节，无论是效果、材质、纹理、模型、灯光，都可以用这些工具实时分析，优化汽车的性能。

自主研发的HMI系统Gazelle选用的芯片是高通8115，可以兼顾高画质和性能。我们将HMI的启动时间缩短到1s以内，运行帧率为60帧。启动后可以看到全3D实时互动模型，车辆数量超过50万辆。为了尽可能保留更多的细节，我们并没有对外观装修进行优化，以确保业主可以通过屏幕缩放看到每一个细节。我们力争在车载移动芯片上呈现出类似PC的高水平。

接下来，我们来看看虚幻引擎是如何实现这些酷炫的实时效果的。为此，我们开发者做了很多尝试和努力。我们可以对比一下默认和重写后的车漆，在手机上打开HDR高动态效果，非常容易看出两者的区别。我们也尽量做到性能最好，通过简化材质效果来保证最终的完美操作。

接下来，我们来看看音乐界面。UI界面的所有按钮和交互方式都写在UE中。背后的音效也是引擎实时捕捉到的音轨的动态波长计算，并显示出来。此外，电动汽车已经成为当前的发展趋势。我们为此专门设计了一个能量页，可以让车主在3D透明材质中非常直观的感受到电池的状态。右侧有一个图表，可以让车主实时检测其电量信息和续航里程信息。这个页面目前已经上市，在同类产品中应该是独一无二的。

我们尝试添加了一个非常有趣的主题切换功能，可以在《堡垒之夜》中将默认车切换成玩具车。切换后，所有页面都会变成新的主题，无论是导航、音乐播放还是能量页。这样的主题转换实际上打开了一个新的订阅源……基于车联网的智能支付模式。

-—录像机—(插入视频02)

对于主机厂来说，未来车机的很大一部分功能就是展示与车模相关的内容和信息，让车主在第一时间通过实时渲染尽可能多的了解你的车模和汽车本身。加入这些主题切换的元素，尤其是游戏内容，可以极大的丰富HMI的用户体验。我们甚至和OEM做了车机联动。比如福特150就是设计师重新设计的，直接和火箭联赛的比赛挂钩。

—录像机—

这种跨界联动在北美已经非常流行，《火箭联盟》基本上每个月都会和全球IP做类似的联动。我们的《堡垒之夜》在全球拥有上亿用户，我们尝试了与合作伙伴和各大IP的各种联动。《堡垒之夜》中的这些特效都是基于虚幻引擎实时技术，实时渲染的，其中包含了很多大家都很熟悉的IP。

—录像机—

这里展示的是全部采用虚幻引擎技术开发的游戏《堡垒之夜》。从图中我们不难感受到虚幻引擎技术与其他同类产品的区别。汽车和游戏的应用差距已经越来越近。通过特斯拉官方发布的一些消息，我们了解到特斯拉内部已经植入了新的AMD芯片，相当于放置了一个流线型的PS5主机。所以《堡垒之夜》也和全球很多大IP做了很多联动。未来，我们将继续尝试，并可能在中国开展类似的活动。

接下来，让我们展望未来。基于强大的实时引擎技术，未来的汽车对我们未来的智能驾驶舱和HMI会有什么指导作用？

我们之前尝试过在堡垒之夜举办一场虚拟演唱会。当时，超过1400万人同时在网上进行这种体验，并与虚拟3D图像特拉维斯·斯科特互动。

未来有了强大的芯片和高分辨率的屏幕，还有什么可以更进一步的呢？我们认为虚幻引擎很有可能在未来将车主的电影级头像植入车机。事实上，我们已经开始尝试这一点，我们将在近期发布一个编辑器——由虚幻引擎技术支持开发的Meta Human Creator。2021年4月13日，由Gaspar和慕尼黑上海电子展联合主办的“2021中国汽车HMI创新大会”隆重举行。本次大会旨在聚集汽车HMI领域的优秀人才、UX/UI设计师和前瞻规划研究者，分享全方位汽车人机交互领域的创新理念、技术趋势、行业焦点、实践挑战和应用解决方案。大会期间，Epic Games中国区技术客户经理纪大伟发表了《实时3D技术引领下一代HMI的发展与变革》主题演讲。

以下为演讲实录:

大家好，我是Epic Games的纪大伟，很荣幸在这里代表公司分享虚幻引擎中的一整套实时工作流程和我们的HMI案例。同时，我也会就以虚幻引擎为核心的整套实时技术，以及Epic打造的生态圈对未来智能驾驶舱HMI的影响，给大家做一个额外的说明。

Epic Games成立至今近30年，一直致力于即时引擎的技术研发。Epic Games总部位于美国，在全球超过15个国家设立了52个办事处，我们在全球拥有3000名员工，保持着稳定的增长。虚幻引擎(Unreal engine)专注于实时、高质量和交互式的3D技术，在世界范围内获得了许多国际奖项，包括两项艾美奖。

现在全球各行业的虚幻引擎用户超过1450万。我们不仅开发和推广引擎，还利用这些引擎开发独立游戏。我们开发了世界闻名的游戏《堡垒之夜》。到目前为止，虚幻发动机已经得到了世界各行各业的认可，尤其是汽车行业。我们与全球十大量产汽车厂商和顶级超跑厂商都有合作。例如，法拉利、兰博基尼、通用汽车、宝马和奔驰都是我们的客户。接下来，我们来喝水……一段视频。

-—录像机—(视频01)

通过刚才的视频我们可以知道，虚幻引擎实时技术完全可以应用在汽车行业的很多细分领域，比如可以创建实时的汽车设计审核和可视化项目；你也可以创建一个非常高质量的实时汽车配置器，并将其部署到云上，让更多的用户和买家了解你的产品。你甚至可以使用虚幻引擎建立一个全数字化的虚拟工厂来验证你的生产线。还可以利用虚幻引擎虚拟制作技术，足不出户完成汽车广告的商业大片。

今天我们要介绍的是由最重要的实时虚幻引擎技术打造的下一代HMI。经过调查，我们发现市面上80%的OS都是基于Android的。两年前，我们完成了Android的移植。右边是Android的原生OS，左边是Android的原生UI。接下来，因为我们和很多主机厂做过量产车的HMI项目，他们对安全性的要求非常高，所以我们进一步从安卓跨界到QNX，实现量产。

我们来看一个案例——悍马。通用汽车的GMC Hummer EV是世界上第一个使用游戏引擎开发的HMI项目。悍马EV本身就有很多功能，我们用最先进的3D技术来解读和表达。在接下来的影片中，有很多基于虚幻引擎的HMI亮点。

—录像机—

这是一个非常酷的宣传片，通过结合实拍和大量HMI交互功能，非常好的诠释了悍马EV的强大。接下来，让我们走进悍马EV的内饰，看看有哪些亮点。请看大屏幕。

—录像机—

这个短视频也有很多亮点。第一，仪表盘12寸，中控触摸屏13.5寸，都是虚幻引擎的实时技术支持。我们以后会继续支持悍马EV项目。

接下来我们来看一个悍马EV功能视频。首先，第一个功能是螃蟹模式，即四个车轮可以同时转向一个角度，可以帮助车主在极端越野情况下脱困。第二个功能叫做Watt to freedom，它可以在驾驶员启动后降低悍马EV底盘。之后，司机可以按照车上的指示先刹车，再踩油门。当刹车抬起，可以看到动能已经开始传递，汽车由静止转为行驶状态。

接下来，组合仪表(默认为2D)显示常规信息。车主可以在第一时间切换到具有实时技术的3D仪器，切换后再得到2D罗盘和3D轮缆显示。

中控面板集成了很多常见的汽车功能，比如音乐播放、导航等。此外，中控面板支持三种用户自定义布局编辑，所有3D和2D都显示在这里，用户可以根据自己的习惯自定义；更酷的是还有驱动切换的功能。切换到越野模式时，会有非常酷的实时渲染动画。悍马EV是一款越野车，不可避免的需要帮助驾驶员规避道路上的很多风险，所以这里我们提供了一个3D悍马模型，通过从外部获取的传感器数据，可以直接连接到车辆上，可以实时动态显示当前车辆姿态，帮助驾驶员在水平和垂直两个方向规避风险。当路面异常复杂或颠簸时，3D车模会做出相应的联动显示，帮助用户了解当前车况。

大家可以看到，短HMI功能视频中有很多亮点，打破了我们对传统汽车发动机的认识，甚至加入了一些科幻元素，这些都离不开虚幻引擎实时技术的支持。

因为这个项目效果不错，通用开始了第二个项目，就是凯迪拉克Lyriq。它同样使用虚幻引擎开发一整套HMI系统，但不同的是，它倾向于以科技和豪华为主，采用曲面屏和多屏，通用汽车自动驾驶系统背后的3D技术支持也是虚幻引擎。让我们通过下面的短片来了解一下。

—录像机—

通过对两款量产车型的了解，可以看出下一代3D HMI是不可逆转的趋势，而且在这里可以透露的是，通用官方已经宣布两款车都采用高通高端芯片，这款车将在国内投产，并会在近期的上海车展上展示。所以3D HMI汽车其实离我们很近。

接下来，还有一个非常酷的HMI保护套。我们与北美的一家设计公司Siili Auto合作。它的主要风格是2D，扁平而简单。让我们来看看吧。值得注意的是，这个系统的开发并没有写一行代码，而是利用虚幻引擎的蓝图和UMG系统完成的。

—录像机—

接下来，今天的重点是整套技术方案。我们不仅仅是一家引擎开发公司，我们还用自己的引擎做出优秀的实时交互产品。在这个过程中，我们看到HMI开发和游戏开发有很多交集。首先，3D效果是非常硬核的要求；我们还提供开源C++代码供开发者免费获取；此外，我们有一套完整的工具来帮助您在开发过程中节省成本。对于来自主机厂开发部门的小伙伴，大家都会很好奇。虚幻引擎的工具很酷。如何以最低的成本集成到现有的汽车系统中？这个问题完全不用担心。如果你有足够的开发能力，可以用虚幻引擎开发一整套应用。如果考虑成本的话，可以把unreal engine完整的3D解决方案当做一个库，直接植入到你现有的车载系统中。此外，在虚幻引擎实时渲染方面，每个UE实例都可以为屏幕中的3D视口渲染自己的内容。如果芯片属于比较高端的，可以支持多屏。我们专门开发了一套管道工具，帮助用户将现有DCC工具中生成的数据无缝导入UE进行HMI开发，DATASMITH帮你实现数据自动转换。本来外部数据进入引擎进行编辑，在没有专门工具辅助的情况下还是会有额外的成本，但是现在我们已经彻底解决了这个问题。

同时，我们在虚幻商城正式发布了大量免费资源。比如我们上个月和奥迪合作，直接把他们的A5车免费送给所有虚幻用户。大家可以直接在商城体验下载。几周前，我们与另一个合作伙伴Vectorform合作。他们开发了一整套虚幻引擎的车机学习场景，你可以免费下载学习测试。我们还开发了一套完整的虚幻发动机专用汽车素材库，拥有140多种PBR素材，可以随时在商场下载使用。而且我们还提供了非常丰富的一套专门展示汽车的场景资源，一整套的官方资源让大家在开发汽车机器的过程中能够最大程度的节约成本。

虚幻引擎中的整个HMI开发过程是一个设计驱动的方案。2D和3D交互可以在蓝图编辑器中完成，UI动画和交互可以在UMG编辑器中完成，Unreal Insights可以帮助您进行调试、性能优化和分析。作为一个实时引擎，任何时候，我们不仅关注效果，也关注性能。任何与性能相关的细节，无论是效果、材质、纹理、模型、灯光，都可以用这些工具实时分析，优化汽车的性能。

自主研发的HMI系统Gazelle选用的芯片是高通8115，可以兼顾高画质和性能。我们将HMI的启动时间缩短到1s以内，运行帧率为60帧。启动后可以看到全3D实时互动模型，车辆数量超过50万辆。为了尽可能保留更多的细节，我们并没有对外观装修进行优化，以确保业主可以通过屏幕缩放看到每一个细节。我们力争在车载移动芯片上呈现出类似PC的高水平。

接下来，我们来看看虚幻引擎是如何实现这些酷炫的实时效果的。为此，我们开发者做了很多尝试和努力。我们可以对比一下默认和重写后的车漆，在手机上打开HDR高动态效果，就非常容易看出两者的区别。我们也尽量做到性能最好，通过简化材质效果来保证最终的完美操作。

接下来，我们来看看音乐界面。UI界面的所有按钮和交互方式都写在UE中。背后的音效也是引擎实时捕捉到的音轨的动态波长计算，并显示出来。此外，电动汽车已经成为当前的发展趋势。我们为此专门设计了一个能量页，可以让车主在3D透明材质中非常直观的感受到电池的状态。右侧有一个图表，可以让车主实时检测其电量信息和续航里程信息。这个页面目前已经上市，在同类产品中应该是独一无二的。

我们尝试添加了一个非常有趣的主题切换功能，可以在《堡垒之夜》中将默认车切换成玩具车。切换后，所有页面都会变成新的主题，无论是导航、音乐播放还是能量页。这样的主题转换实际上打开了一个新的订阅源……基于车联网的智能支付模式。

-—录像机—(插入视频02)

对于主机厂来说，未来车机的很大一部分功能就是展示与车模相关的内容和信息，让车主在第一时间通过实时渲染尽可能多的了解你的车模和汽车本身。加入这些主题切换的元素，尤其是游戏内容，可以极大的丰富HMI的用户体验。我们甚至和OEM做了车机联动。比如福特150就是设计师重新设计的，直接和火箭联盟的游戏挂钩。

—录像机—

这种跨界联动在北美已经非常流行，《火箭联盟》基本上每个月都会和全球IP做类似的联动。我们的《堡垒之夜》在全球拥有上亿用户，我们尝试了与合作伙伴和各大IP的各种联动。《堡垒之夜》中的这些特效都是基于虚幻引擎实时技术，实时渲染的，其中包含了很多大家都很熟悉的IP。

—录像机—

这里展示的是全部采用虚幻引擎技术开发的游戏《堡垒之夜》。从图中我们不难感受到虚幻引擎技术与其他同类产品的区别。汽车和游戏的应用差距已经越来越近。通过特斯拉官方发布的一些消息，我们了解到特斯拉内部已经植入了新的AMD芯片，相当于放置了一个流线型的PS5主机。所以《堡垒之夜》也和全球很多大IP做了很多联动。未来，我们将继续尝试，并可能在中国开展类似的活动。

接下来，让我们展望未来。基于强大的实时引擎技术，未来的汽车对我们未来的智能驾驶舱和HMI会有什么指导作用？

我们之前尝试过在堡垒之夜举办一场虚拟演唱会。当时，超过1400万人同时在网上进行这种体验，并与虚拟3D图像特拉维斯·斯科特互动。

未来有了强大的芯片和高分辨率的屏幕，还有什么可以更进一步的呢？我们认为虚幻引擎很有可能在未来将车主的电影级头像植入车机。事实上，我们已经开始尝试这一点，我们将在近期发布一个编辑器——由虚幻引擎技术支持开发的Meta Human Creator。-—录像机—(插入视频03)

这个编辑器后面制作数字人的操作都放在云端，通过像素流推送到各个终端的移动设备和手机上。在未来，我们很有可能通过实时捕捉用户自己的面部肖像或提供一些照片生成来改进我们的编辑库，我们可以在第一时间创建主人自己的虚拟3D图像。未来可以根据虚拟形象做很多尝试，比如在虚拟世界中与他人互动。

另外，我们还有一个非常前沿的技术，虚幻引擎5。有了UE5强大的技术支持，相信以上展示的内容在不久的将来都会实现。

除了3D的趋势，从引擎的角度来看，未来的汽车机会有三大趋势:云计算和互联、人工智能和自动化、丰富的交互和沉浸式体验。希望未来能不断提升引擎技术，有机会和国内更多的主机厂合作，开发出优秀的HMI产品。谢谢你。-—录像机—(插入视频03)

这个编辑器后面制作数字人的操作都放在云端，通过像素流推送到各个终端的移动设备和手机上。在未来，我们很有可能通过实时捕捉用户自己的面部肖像或提供一些照片生成来改进我们的编辑库，我们可以在第一时间创建主人自己的虚拟3D图像。未来可以根据虚拟形象做很多尝试，比如在虚拟世界中与他人互动。

另外，我们还有一个非常前沿的技术，虚幻引擎5。有了UE5强大的技术支持，相信以上展示的内容在不久的将来都会实现。

除了3D的趋势，从引擎的角度来看，未来的汽车机会有三大趋势:云计算和互联、人工智能和自动化、丰富的交互和沉浸式体验。希望未来能不断提升引擎技术，有机会和国内更多的主机厂合作，开发出优秀的HMI产品。谢谢你。

标签：特斯拉奥迪奔驰宝马福特

汽车资讯热门资讯