安霸的产品广泛应用于人工智能计算机视觉、视频图像处理、视频记录等领域,包括视频安防、高级驾驶辅助系统(ADAS)、司机及驾驶室智能监控、电子后视镜、汽车自动驾驶域控制器、机器人应用等。
2022年11月15日,安霸半导体科技(上海)有限公司软件研发高级总监孙介绍,2022年第二届智能汽车域控制器创新峰会,由Gaspar主办,上海虹桥国际中央商务区管理委员会、上海市闵行区人民政府指导。安霸的高性能、低功耗AI SoC主控芯片提供超高清图像处理、视频压缩和强大的神经网络处理,能够从高分辨率视频和雷达信息中提取有价值的数据,在智能感知、多传感器融合和中央域控制处理系统中发挥重要作用。
孙陆毅,安霸半导体科技(上海)有限公司软件研发高级总监
以下是发言摘要:
今天主要讲三个内容。一、安巴公司介绍。安巴中国公司于2007年在上海成立。但是近年来在一些OEM厂商和Tier1陆续获得了人气。后来,随着更多的产品推向市场,我希望你能更好地了解我们。其次,CV3在大算力中央域控制主芯片领域有什么技术优势?第三,如果客户用CV3作为主芯片做自动驾驶领域控制系统,会带来哪些特性?
安巴在ADAS和自动驾驶方面的技术储备。
简单介绍一下安巴的名字。安巴的英文名是Ambarella。Ambarella是一种水果的名字,佛经中有记载。斯里兰卡等地种植,后引入太平洋的开曼群岛。安巴公司于2004年在开曼群岛注册。此后,安巴在硅谷设立了研发中心开发芯片,并于2007年成立了中国团队。
2012年,安巴在纳斯达克上市,代码为AMBA。真正进入汽车前装行业是在2015年,我们收购了一家做自动驾驶的公司。2017年,安巴首款AI前端视觉主芯片CV1问世,为汽车市场人工智能提供单芯片解决方案。2018年,安霸陆续推出第二代CV系列AI主芯片,与行业内众多客户和合作伙伴建立了深度合作。2019年开始在商用车和乘用车市场量产。
到目前为止,在汽车和人工智能行业,安巴已经商业化和量产了超过一百万个CV系列AI主芯片,并于去年收购了4D毫米波雷达算法公司奥库。现在安霸不仅布局了应用于ADAS的主芯片,中央域控制处理主芯片,还布局了4D毫米波雷达算法。2022年,安巴发布高性能自动驾驶领域控制芯片CV3。
目前有10款CV系列芯片可供选择。从2018年开始,我们推出了10nm工艺的CV2x系列芯片,是业界芯片设计和工艺领先的公司。目前已经推出了两款5nm工艺芯片,一款是面向工业和消费应用的CV5,另一款是面向汽车算力控制的主力芯片CV3。明年还将推出5nm车规ADAS主芯片系列和大计算力域控制主芯片系列。
CV2x系列AI主芯片平台,软件完全兼容,所有系列芯片均已在乘用车预装项目中量产。SDK成熟稳定,支持多种算法开发,优化全系列芯片的CV工具链兼容性,提供成熟的仿真调试工具,缩短新产品开发周期。CV2x系列芯片提供“Rock”全面信息安全解决方案,支持硬件信息安全,已在多个项目量产;CV3和后续芯片支持硬件HSM,以进一步提高信息安全性。在功能安全方面,CV2FS和CV22FS达到芯片ISO26262的功能安全ASIL-C和功能安全岛ASIL-D级别;CV3还有ASIL-D功能安全岛,整个芯片可以达到ASIL-B级别。
安霸的各种技术优势,最终都是为了保证产品的稳定量产。安巴多年来一直秉承的核心理念就是如何给客户带来稳定易用的解决方案。其中,芯片设计是核心。除了芯片,还有软件SDK工具,供应链,客户支持。这些优势都可以更好的服务于市场。
安巴目前的技术优势
安霸的核心技术包括自研ISP的设计和算法。秉承安霸ISP算法多年的研究成果和不断迭代创新,在使用相同的CMOS图像传感器时,安霸ISP通常会带来更好的动态范围和效果,从而获得更好的还原,提高复杂场景下ADAS算法的精度。
安巴的CV芯片系列还集成了高效的神经网络引擎CVflow架构,它代表计算机视觉(计算机图像处理)。采用CVFlow架构的CV芯片系列是单位功耗性能最高的AI处理器。CVflow完全自主研发,量产测试。拥有完整成熟的工具链,可以从用户导入算法模型,优化、量化、编译转换、执行一气呵成,支持Caffe、Tensor Flow、Pytorch、Paddle Paddle等训练框架,兼容各种开源神经网络和客户自有神经网络。
CV2x系列有很多AI视觉感知芯片。这些芯片兼容软件架构,扩展性强,给客户带来了极大的便利。意味着客户选择开发的第一款CV2系列芯片与其他CV2x系列差别不大,只是硬件配置有高有低。
CV2x所有系列都集成了高性能高质量的ISP,支持全硬件加速几何失真校正,最多可支持8路图像传感器输入,包括高性能神经网络处理器CVflow和多路实时视频编码(H.264/H.265/JPEG)。它们以10nm的低功耗设计,已经在汽车前量产,满足AEC-Q100 Grade2级别,可以实现系统功能安全。
到目前为止,安霸的芯片不仅技术先进,在可靠性和稳定性方面也获得了客户的高度评价。除了AI性能,CV系列芯片还有非常强的数据采集能力和图像编码能力。相机图像采集和记录是安巴的特长。这些数据采集不仅指多路相机数据(支持72倍以上的H.265高质量压缩比,以及YUV,RAW格式),还包括毫米波雷达和激光雷达数据采集。
自从我们收购了毫米波雷达算法公司奥库之后,我们也对毫米波雷达做了一些研究和测试。比如下面这个场景是最近实际采集的东西,绿色是4D毫米波雷达采集的数据,黄色点是激光雷达采集的数据,视频是我们摄像头采集的数据。这是一个小测试,主要对比分析激光雷达、4D毫米波雷达和视觉图像实时采集的信息。
激光雷达和4D毫米波雷达的探测点数相差不大,4D毫米波雷达的探测距离更远。结合这些测试,为客户提供芯片和SDK软件,解决了各种数据的采集、存储、整合和时间同步等问题,也可以配合客户做类似的工作。
图片来源:孙陆毅,安霸半导体科技(上海)有限公司软件开发高级总监
在功能安全方面,安霸在CV2FS芯片上获得了全芯片设计的ASIL-C级和功能安全岛的ASIL-D级,得到了EXIDA的官方认证。安霸可以为有功能安全需求的项目提供完整的功能安全文档和设计,软件也符合ISO26262的要求。
功能强大的中央域控制芯片CV3的技术优势。
我重点说一下CV3的优点。在2020年的CES上,安霸的前身CV2被公开与尚友的30T计算芯片相比较。运行同样的神经网络算法性能相当,CV2的功耗只有对手的1/5。到2022年,CV3已经大大超过了尚友最新的汽车……AI性能中的主控芯片。
CV3系列中,CV3 High是性能最高的一款。该芯片展示的神经网络性能远超目前业界使用的大型计算芯片,功耗仅为50w。
这个芯片的性能不取决于我们随便说什么。我们当面给客户看,我们说的业绩能做到,我们会让客户自己验证。CV3系列芯片支持多个摄像头、毫米波雷达、激光雷达、超声波雷达等传感器同时输入;CV3支持各种传感器的数据预处理和后处理,运行神经网络和传统算法,融合多个传感器的结果。CV还可以通过硬件高效支持Transformer/BEV视觉感知算法,比竞品更快更准。此外,CV3还支持集中式4D毫米波雷达处理,以提高雷达性能并降低成本。
如何实现功耗更低但性能更高?
首先是芯片架构设计。CV3采用了独特的芯片架构设计,其独有的硬件模块如CVFlow、ISP、H.265编码器等都是专门针对低功耗进行优化的。运行同样的算法,占用内存带宽更少。其次,CV3采用业界领先的5nm整车调控工艺,进一步降低功耗。因此,在运行大计算能力和多个800万摄像头输入时,CV3的实际AI性能是目前市场上使用的最大计算能力域控制芯片的3~6倍。此时CV3的功耗还不到一半。
以CV3为主芯片的autopilot中央域控制器,可以接入12个以上的摄像头,并且由于CV3集成了ISP,图像处理能力强,图像质量更好,可以为客户节省成本和功耗。为了让相机达到更好的画质,安霸会负责图像支持和优化。CV3不仅可以针对每个摄像头输入独立控制画质,还支持多个摄像头的曝光同步,包括控制不同摄像头的曝光延迟。
最后,CV3系列芯片功能齐全,接口丰富,工具链成熟:
CV3采用多颗(最多16颗)ARM Cortex A78AE,因此拥有目前最强的CPU运算能力。通过支持高位宽的LPDDR5内存,CV3拥有丰富的内存带宽;CV3芯片支持大计算能力域控制的所有通用接口,并且都是最新的规范;与外设的网口连接,CAN口数量足够;CV3芯片自带ASIL-D功能安全岛,可支持AUTOSAR CP;CV3芯片支持PCIe多芯片级联,扩展性能;CV3的工具链兼容上一代安霸量产芯片CV2x系列;CV3的SDK提供了一整套基于开源的开发工具、调试工具和中间件。
以CV3为核心芯片的自动驾驶系统的特点和突破
如果这套以CV3为核心芯片的自动驾驶,会给客户带来什么?
一是有利于降低系统成本:节省ISP带外置摄像头模块;保存外部安全MCU;由于功耗较低,节省了散热成本;节省主芯片数量,因为AI更强大;节省CPU资源,因为硬件加速丰富;节省海量存储,因为系统优化了;节省开发时间,因为算法有很好的兼容性。
第二,CV3加变压器/BEV更厉害。CV3可以高效地支持具有多个相机和多个激光雷达的类BEV算法。BEV算法有利于多传感器融合;更适用于后端的预测、决策和监管,是目前自动驾驶算法发展的主流方向;BEV算法中常用变压器网络,CV3的CVflow计算单元中的NVP可以高效支持变压器网络,通过提供变压器的硬件加速,比竞品更快更准。CV3的多个nvp可以同时独立计算多路视频,高度并行。硬件可以高效支持点云及图像预处理,大大降低了对ARM CPU计算能力的需求。
第三,CV3可以带来集中式中央域控制雷达技术。在收购4D雷达算法公司奥库后,安巴在CV3上开发了集中式中央域控制雷达技术,大大提高了4D毫米波雷达算法的精度和点云数量,有效降低了前端雷达设备的成本。目前已经有很多国外大型OEM厂商在下一代架构中考虑了中心域控制雷达,安霸的CV3已经集成了中心域控制雷达处理的硬件。
第四,安巴被业界广泛认可。此前,在英国著名媒体《电子元器件》(Components in Electronics)一年一度的“电子行业大奖”评选中,安霸凭借CV3汽车AI域控制器SoC获得“2022年度产品奖”。
(以上内容来自安霸半导体科技(上海)有限公司软件高级总监孙于2022年11月15日在上海虹桥国际中央商务区管理委员会、上海市闵行区人民政府指导下,上海虹桥投资发展(集团)有限公司协办的《面向大计算力低功耗自动驾驶仪的中央域控制芯片CV3》主题演讲..)安霸的产品广泛应用于人工智能计算机视觉、视频图像处理、视频记录等领域,包括视频安防、高级驾驶辅助系统(ADAS)、司机及驾驶室智能监控、电子后视镜、汽车自动驾驶域控制器、机器人应用等。
2022年11月15日,安霸半导体科技(上海)有限公司软件研发高级总监孙介绍,2022年第二届智能汽车域控制器创新峰会,由Gaspar主办,上海虹桥国际中央商务区管理委员会、上海市闵行区人民政府指导。安霸的高性能、低功耗AI SoC主控芯片提供超高清图像处理、视频压缩和强大的神经网络处理,能够从高分辨率视频和雷达信息中提取有价值的数据,在智能感知、多传感器融合和中央域控制处理系统中发挥重要作用。
孙陆毅,安霸半导体科技(上海)有限公司软件研发高级总监
以下是发言摘要:
今天主要讲三个内容。一、安巴公司介绍。安巴中国公司于2007年在上海成立。但是近年来在一些OEM厂商和Tier1陆续获得了人气。后来,随着更多的产品推向市场,我希望你能更好地了解我们。其次,CV3在大算力中央域控制主芯片领域有什么技术优势?第三,如果客户用CV3作为主芯片做自动驾驶领域控制系统,会带来哪些特性?
安巴在ADAS和自动驾驶方面的技术储备。
简单介绍一下安巴的名字。安巴的英文名是Ambarella。Ambarella是一种水果的名字,佛经中有记载。斯里兰卡等地种植,后引入太平洋的开曼群岛。安巴公司于2004年在开曼群岛注册。此后,安巴在硅谷设立了研发中心开发芯片,并于2007年成立了中国团队。
2012年,安巴在纳斯达克上市,代码为AMBA。真正进入汽车前装行业是在2015年,我们收购了一家做自动驾驶的公司。2017年,安巴首款AI前端视觉主芯片CV1问世,为汽车市场人工智能提供单芯片解决方案。2018年,安霸陆续推出第二代CV系列AI主芯片,与行业内众多客户和合作伙伴建立了深度合作。2019年,开始量产商用……汽车和乘用车市场。
到目前为止,在汽车和人工智能行业,安巴已经商业化和量产了超过一百万个CV系列AI主芯片,并于去年收购了4D毫米波雷达算法公司奥库。现在安霸不仅布局了应用于ADAS的主芯片,中央域控制处理主芯片,还布局了4D毫米波雷达算法。2022年,安巴发布高性能自动驾驶领域控制芯片CV3。
目前有10款CV系列芯片可供选择。从2018年开始,我们推出了10nm工艺的CV2x系列芯片,是业界芯片设计和工艺领先的公司。目前已经推出了两款5nm工艺芯片,一款是面向工业和消费应用的CV5,另一款是面向汽车算力控制的主力芯片CV3。明年还将推出5nm车规ADAS主芯片系列和大计算力域控制主芯片系列。
CV2x系列AI主芯片平台,软件完全兼容,所有系列芯片均已在乘用车预装项目中量产。SDK成熟稳定,支持多种算法开发,优化全系列芯片的CV工具链兼容性,提供成熟的仿真调试工具,缩短新产品开发周期。CV2x系列芯片提供“Rock”全面信息安全解决方案,支持硬件信息安全,已在多个项目量产;CV3和后续芯片支持硬件HSM,以进一步提高信息安全性。在功能安全方面,CV2FS和CV22FS达到芯片ISO26262的功能安全ASIL-C和功能安全岛ASIL-D级别;CV3还有ASIL-D功能安全岛,整个芯片可以达到ASIL-B级别。
安霸的各种技术优势,最终都是为了保证产品的稳定量产。安巴多年来一直秉承的核心理念就是如何给客户带来稳定易用的解决方案。其中,芯片设计是核心。除了芯片,还有软件SDK工具,供应链,客户支持。这些优势都可以更好的服务于市场。
安巴目前的技术优势
安霸的核心技术包括自研ISP的设计和算法。秉承安霸ISP算法多年的研究成果和不断迭代创新,在使用相同的CMOS图像传感器时,安霸ISP通常会带来更好的动态范围和效果,从而获得更好的还原,提高复杂场景下ADAS算法的精度。
安巴的CV芯片系列还集成了高效的神经网络引擎CVflow架构,它代表计算机视觉(计算机图像处理)。采用CVFlow架构的CV芯片系列是单位功耗性能最高的AI处理器。CVflow完全自主研发,量产测试。拥有完整成熟的工具链,可以从用户导入算法模型,优化、量化、编译转换、执行一气呵成,支持Caffe、Tensor Flow、Pytorch、Paddle Paddle等训练框架,兼容各种开源神经网络和客户自有神经网络。
CV2x系列有很多AI视觉感知芯片。这些芯片兼容软件架构,扩展性强,给客户带来了极大的便利。意味着客户选择开发的第一款CV2系列芯片与其他CV2x系列差别不大,只是硬件配置有高有低。
CV2x所有系列都集成了高性能高质量的ISP,支持全硬件加速几何失真校正,最多可支持8路图像传感器输入,包括高性能神经网络处理器CVflow和多路实时视频编码(H.264/H.265/JPEG)。它们以10nm的低功耗设计,已经在汽车前量产,满足AEC-Q100 Grade2级别,可以实现系统功能安全。
到目前为止,安霸的芯片不仅技术先进,在可靠性和稳定性方面也获得了客户的高度评价。除了AI性能,CV系列芯片还有非常强的数据采集能力和图像编码能力。相机图像采集和记录是安巴的特长。这些数据采集不仅指多路相机数据(支持72倍以上的H.265高质量压缩比,以及YUV,RAW格式),还包括毫米波雷达和激光雷达数据采集。
自从我们收购了毫米波雷达算法公司奥库之后,我们也对毫米波雷达做了一些研究和测试。比如下面这个场景是最近实际采集的东西,绿色是4D毫米波雷达采集的数据,黄色点是激光雷达采集的数据,视频是我们摄像头采集的数据。这是一个小测试,主要对比分析激光雷达、4D毫米波雷达和视觉图像实时采集的信息。
激光雷达和4D毫米波雷达的探测点数相差不大,4D毫米波雷达的探测距离更远。结合这些测试,为客户提供芯片和SDK软件,解决了各种数据的采集、存储、整合和时间同步等问题,也可以配合客户做类似的工作。
图片来源:孙陆毅,安霸半导体科技(上海)有限公司软件开发高级总监
在功能安全方面,安霸在CV2FS芯片上获得了全芯片设计的ASIL-C级和功能安全岛的ASIL-D级,得到了EXIDA的官方认证。安霸可以为有功能安全需求的项目提供完整的功能安全文档和设计,软件也符合ISO26262的要求。
功能强大的中央域控制芯片CV3的技术优势。
我重点说一下CV3的优点。在2020年的CES上,安霸的前身CV2被公开与尚友的30T计算芯片相比较。运行同样的神经网络算法性能相当,CV2的功耗只有对手的1/5。到2022年,CV3已经大大超过了尚友最新的汽车……AI性能中的主控芯片。
CV3系列中,CV3 High是性能最高的一款。该芯片展示的神经网络性能远超目前业界使用的大型计算芯片,功耗仅为50w。
这个芯片的性能不取决于我们随便说什么。我们当面给客户看,我们说的业绩能做到,我们会让客户自己验证。CV3系列芯片支持多个摄像头、毫米波雷达、激光雷达、超声波雷达等传感器同时输入;CV3支持各种传感器的数据预处理和后处理,运行神经网络和传统算法,融合多个传感器的结果。CV还可以通过硬件高效支持Transformer/BEV视觉感知算法,比竞品更快更准。此外,CV3还支持集中式4D毫米波雷达处理,以提高雷达性能并降低成本。
如何实现功耗更低但性能更高?
首先是芯片架构设计。CV3采用了独特的芯片架构设计,其独有的硬件模块如CVFlow、ISP、H.265编码器等都是专门针对低功耗进行优化的。运行同样的算法,占用内存带宽更少。其次,CV3采用业界领先的5nm整车调控工艺,进一步降低功耗。因此,在运行大计算能力和多个800万摄像头输入时,CV3的实际AI性能是目前市场上使用的最大计算能力域控制芯片的3~6倍。此时CV3的功耗还不到一半。
以CV3为主芯片的autopilot中央域控制器,可以接入12个以上的摄像头,并且由于CV3集成了ISP,图像处理能力强,图像质量更好,可以为客户节省成本和功耗。为了让相机达到更好的画质,安霸会负责图像支持和优化。CV3不仅可以针对每个摄像头输入独立控制画质,还支持多个摄像头的曝光同步,包括控制不同摄像头的曝光延迟。
最后,CV3系列芯片功能齐全,接口丰富,工具链成熟:
CV3采用多颗(最多16颗)ARM Cortex A78AE,因此拥有目前最强的CPU运算能力。通过支持高位宽的LPDDR5内存,CV3拥有丰富的内存带宽;CV3芯片支持大计算能力域控制的所有通用接口,并且都是最新的规范;与外设的网口连接,CAN口数量足够;CV3芯片自带ASIL-D功能安全岛,可支持AUTOSAR CP;CV3芯片支持PCIe多芯片级联,扩展性能;CV3的工具链兼容上一代安霸量产芯片CV2x系列;CV3的SDK提供了一整套基于开源的开发工具、调试工具和中间件。
以CV3为核心芯片的自动驾驶系统的特点和突破
如果这套以CV3为核心芯片的自动驾驶,会给客户带来什么?
一是有利于降低系统成本:节省ISP带外置摄像头模块;保存外部安全MCU;由于功耗较低,节省了散热成本;节省主芯片数量,因为AI更强大;节省CPU资源,因为硬件加速丰富;节省海量存储,因为系统优化了;节省开发时间,因为算法有很好的兼容性。
第二,CV3加变压器/BEV更厉害。CV3可以高效地支持具有多个相机和多个激光雷达的类BEV算法。BEV算法有利于多传感器融合;更适用于后端的预测、决策和监管,是目前自动驾驶算法发展的主流方向;BEV算法中常用变压器网络,CV3的CVflow计算单元中的NVP可以高效支持变压器网络,通过提供变压器的硬件加速,比竞品更快更准。CV3的多个nvp可以同时独立计算多路视频,高度并行。硬件可以高效支持点云及图像预处理,大大降低了对ARM CPU计算能力的需求。
第三,CV3可以带来集中式中央域控制雷达技术。在收购4D雷达算法公司奥库后,安巴在CV3上开发了集中式中央域控制雷达技术,大大提高了4D毫米波雷达算法的精度和点云数量,有效降低了前端雷达设备的成本。目前已经有很多国外大型OEM厂商在下一代架构中考虑了中心域控制雷达,安霸的CV3已经集成了中心域控制雷达处理的硬件。
第四,安巴被业界广泛认可。此前,在英国著名媒体《电子元器件》(Components in Electronics)一年一度的“电子行业大奖”评选中,安霸凭借CV3汽车AI域控制器SoC获得“2022年度产品奖”。
(以上内容来自安霸半导体科技(上海)有限公司软件高级总监孙于2022年11月15日在上海虹桥国际中央商务区管理委员会、上海市闵行区人民政府指导下,上海虹桥投资发展(集团)有限公司协办的《面向大计算力低功耗自动驾驶仪的中央域控制芯片CV3》主题演讲..)
标签:曼
11月21日,雷丁汽车完成A轮融资,整体融资规模为32亿元,该轮融资将于11月底开始陆续到位,此次A轮融资由潍坊市潍城西部投资发展集团领投,省市国有资本、产业和民营资本积极跟投,
1900/1/1 0:00:00当地时间11月17日,通用汽车在纽约举行投资者大会。公司宣布,预计到2025年,通用在北美销售的电动汽车将实现稳定盈利,达到传统燃油车的同等水平。这比通用在去年承诺的2030年提前了5年。
1900/1/1 0:00:00近日,安永首届“上市公司可持续发展官高峰论坛暨年度最佳奖项评选”结果正式揭晓,上汽通用五菱《五菱新能源构建数字低碳车生活》案例被评选为科技创新进步维度的年度最佳奖项2022优秀案例。
1900/1/1 0:00:0011月21日,工业和信息化部、国家发展改革委、国务院国资委联合印发《关于巩固回升向好趋势加力振作工业经济的通知》,
1900/1/1 0:00:00分享2022年11月23日日前,通用汽车“2022通用汽车科技展望日”在上海举行。别克首款奥特能平台大五座智能纯电SUV将于今年年底亮相,明年上半年正式交付。
1900/1/1 0:00:00对于新能源来讲,2022年是个重要的转折点。当光伏、纯电两个主要角色在实现自我造血并进入市场化阶段后,无论是政策还是市场,都把目光聚焦在了下一个能源点:氢能。
1900/1/1 0:00:00