据国外媒体报道,日前,美国专利商标局授予苹果一项新专利:工业增强现实相机系统。该系统涉及将数字信息投影到真实环境中的真实对象上的方法和系统。
(来源:patentlyapple.com)
在这项专利的背景中,苹果指出,增强现实(AR)系统可以通过计算机生成的数字信息,直接、直观地增强真实环境。例如,这些数字信息是在真实环境中可以增强视觉印象的虚拟信息。典型的应用是基于投影仪的增强现实、投影增强现实或空间增强现实。
数字信息可以是任何类型的可视数据,例如真实对象、文本、图形、视频或上述对象的组合。通过使用投影仪将计算机生成的数字信息投影到全部或部分真实环境中的真实对象的表面上,可以直接增强真实环境。投影AR有很多应用场景,比如建筑设计的原型、汽车制造、开发新颖的计算机用户界面所需的普适计算、信息展示等。但苹果尚未宣布是否会在泰坦项目中使用这项发明。在工业领域,投影AR也被称为“投影或空间增强现实”。
为了实现投影视觉数字信息与真实环境中增强的真实物体的对准,需要了解真实物体与投影仪之间的空间变换。因此,系统需要频繁地执行校准过程,以便评估基于2D-2D、2D-3D或3D-3D对应的空间变换,这对于构建投影AR系统来说是非常具有挑战性的。这种校准过程通常需要使用照相机。
为了计算投影仪和真实物体之间的空间变换,业界已经提出并开发了许多校准方法。一种方法是通过使用照相机和投影仪在汽车的仪表板上显示视觉数据。为了实现校准,摄像机和投影仪应牢固连接。可以对摄像机获得的视觉数据进行处理,粗略判断放映机车的外部特征(如相对空间位置和方向)。
摄像机还可以检测汽车上的标记,从而评估摄像机和汽车之间的空间变换,并确定投影仪和汽车之间的空间变换。但这种方法的问题是,必须事先测量标记相对于汽车坐标系的位置和方向。商业投影AR系统Extend3D可以根据牢固连接到投影仪的相机传感器来跟踪一组数据标记。
用于在真实环境中真实物体上投影数字信息的系统
苹果的发明提供了一种在真实环境中的真实物体上投射数字信息的系统。该系统包括可见光投影仪,其适于将数字信息投影到真实环境中的真实对象或其一部分上;照相机可以通过使用投影的数字信息来捕获至少一个真实物体的图像;深度传感器内置在相机中,可以捕捉真实物体或其部分的深度数据;处理组件,其可用于基于一个以上的图像和深度数据来计算可见光投影仪和真实对象之间的空间变换。
根据特定的安装模式,在优选实施例中,该方法包括基于已知真实对象的3D模型评估RGB-D相机系统和真实对象之间的空间变换,计算投影仪的固有参数以及投影仪和真实对象之间的空间变换(基于使用投影仪在真实对象或其一部分的一个或多个表面上投影一个或多个视觉图像),以及使用RGB-D相机捕获投影的视觉图案的深度图。
下面的图1A示出了根据本发明的一个方面的示例性系统设置,其中RGB-D相机系统和可见光投影仪之间的连接不合适;图3示出了根据本发明示例的方法流程图。
苹果专利数字1A和3(来源:patentlyapple.com)
下面的图5示出了包括可见光投影仪和RGB-D相机系统的示例性手持设备,图6示出了包括可见光投影仪和RGB-D相机系统的示例性耳机设备。
苹果专利图5和图6(来源:patentlyapple.com)
下面的图7示出了根据本发明的有利的硬件布置。
苹果专利图7(来源:patentlyapple.com)
专利声明中列出的发明人之一是Selim BenHimane,英特尔前员工,计算机视觉机器学习高级工程经理;一位是高级机器学习经理丹尼尔·库尔茨,他在苹果收购虚拟现实初创公司Metaio时加入了苹果。这项专利似乎最初是由Metaio公司申请的。据国外媒体报道,日前,美国专利商标局授予苹果一项新专利:工业增强现实相机系统。该系统涉及将数字信息投影到真实环境中的真实对象上的方法和系统。
(来源:patentlyapple.com)
在这项专利的背景中,苹果指出,增强现实(AR)系统可以通过计算机生成的数字信息,直接、直观地增强真实环境。例如,这些数字信息是在真实环境中可以增强视觉印象的虚拟信息。典型的应用是基于投影仪的增强现实、投影增强现实或空间增强现实。
数字信息可以是任何类型的可视数据,例如真实对象、文本、图形、视频或上述对象的组合。通过使用投影仪将计算机生成的数字信息投影到全部或部分真实环境中的真实对象的表面上,可以直接增强真实环境。投影AR有很多应用场景,比如建筑设计的原型、汽车制造、开发新颖的计算机用户界面所需的普适计算、信息展示等。但苹果尚未宣布是否会在泰坦项目中使用这项发明。在工业领域,投影AR也被称为“投影或空间增强现实”。
为了实现投影视觉数字信息与真实环境中增强的真实物体的对准,需要了解真实物体与投影仪之间的空间变换。因此,系统需要频繁地执行校准过程,以便评估基于2D-2D、2D-3D或3D-3D对应的空间变换,这对于构建投影AR系统来说是非常具有挑战性的。这种校准过程通常需要使用照相机。
为了计算投影仪和真实物体之间的空间变换,业界已经提出并开发了许多校准方法。一种方法是通过使用照相机和投影仪在汽车的仪表板上显示视觉数据。为了实现校准,摄像机和投影仪应牢固连接。可以对摄像机获得的视觉数据进行处理,粗略判断放映机车的外部特征(如相对空间位置和方向)。
摄像机还可以检测汽车上的标记,从而评估摄像机和汽车之间的空间变换,并确定投影仪和汽车之间的空间变换。但这种方法的问题是,必须事先测量标记相对于汽车坐标系的位置和方向。商业投影AR系统Extend3D可以根据牢固连接到投影仪的相机传感器来跟踪一组数据标记。
用于在真实环境中真实物体上投影数字信息的系统
苹果的发明提供了一种在真实环境中的真实物体上投射数字信息的系统。该系统包括可见光投影仪,其适于将数字信息投影到真实环境中的真实对象或其一部分上;照相机可以通过使用投影的数字信息来捕获至少一个真实物体的图像;深度传感器内置在相机中,可以捕捉真实物体或其部分的深度数据;处理组件,其可用于基于一个以上的图像和深度数据来计算可见光投影仪和真实对象之间的空间变换。
根据特定的安装模式,在优选实施例中,该方法包括基于已知真实对象的3D模型评估RGB-D相机系统和真实对象之间的空间变换,计算投影仪的固有参数以及投影仪和真实对象之间的空间变换(基于使用投影仪在真实对象或其一部分的一个或多个表面上投影一个或多个视觉图像),以及使用RGB-D相机捕获投影的视觉图案的深度图。
下面的图1A示出了根据本发明的一个方面的示例性系统设置,其中RGB-D相机系统和可见光投影仪之间的连接不合适;图3示出了根据本发明示例的方法流程图。
苹果专利数字1A和3(来源:patentlyapple.com)
下面的图5示出了包括可见光投影仪和RGB-D相机系统的示例性手持设备,图6示出了包括可见光投影仪和RGB-D相机系统的示例性耳机设备。
苹果专利图5和图6(来源:patentlyapple.com)
下面的图7示出了根据本发明的有利的硬件布置。
苹果专利图7(来源:patentlyapple.com)
专利声明中列出的发明人之一是Selim BenHimane,英特尔前员工,计算机视觉机器学习高级工程经理;一位是高级机器学习经理丹尼尔·库尔茨,他在苹果收购虚拟现实初创公司Metaio时加入了苹果。这项专利似乎最初是由Metaio公司申请的。
标签:
盖世汽车讯据外媒报道,大众的电动车野心引发股市大规模交易,本周该公司股价涨幅高达32,这引起了德国最高市场监管机构的注意。
1900/1/1 0:00:00盖世汽车讯据外媒报道,每辆宝马iX将使用大约599公斤的回收塑料。(图片来源:motor1)宝马首次让电动汽车拥有格栅,并且正在开发两款新车型。
1900/1/1 0:00:002021年3月18日,由中国化学与物理电源行业协会动力电池应用分会联合电池中国网共同举办的第二届新能源汽车及动力电池(CIBF深圳)国际交流会在深圳隆重召开。
1900/1/1 0:00:00在3月17日召开的宝马集团年度财报发布会上,宝马集团公布了2021年增长和盈利宏伟目标。从2025年起,宝马集团将推出“新世代”车型系列,从技术角度将豪华出行提升至全新高度。
1900/1/1 0:00:00盖世汽车讯据外媒报道,主动安全测试设备和服务供应商Humanetics与自动驾驶系统验证平台供应商Foretellix联合开发了用于ADAS和自动驾驶分析的工具链,
1900/1/1 0:00:00据乘联会提供的全国汽车产销数据显示,2021年2月份国内SUV市场共销售新车约556万辆,环比下降438,同比暴涨4267。
1900/1/1 0:00:00