打响安卓手机dToF“第一枪”

去年十月,苹果推出了配有LiDAR(激光雷达)的iPhone 12 Pro,首次将dToF技术用到手机设备中,通过激光触及物体后反射回来所用的时间绘制出使用者所处空间的深度图,同时在也能让AR效果更加逼真,打通真实与虚拟的交接,置身于室内就能感受逼真的雨林。这不是ToF技术与移动设备的第一次结合,苹果在去年3月份发布的iPad Pro中就已经用到ToF技术,国内也有不少手机厂商让ToF上手机,为此还有著名的小米荣耀ToF之争。需要注意的是,虽然同为ToF,但国内几乎所有的旗舰手机采用的是iToF,还未用上iPhone 12 Pro所采用的dToF技术。不过,在今年的MWC大会的最后一天,高性能传感器解决方案供应商艾迈斯半导体与ArcSoft合作,发布了针对移动设备后置3D dToF传感的整套解决方案,有望在2021年底让安卓手机后置也装上dToF传感器。dToF带来更加沉浸式AR体验一般而言, 3D成像传感技术可以分为双目测距、结构光和ToF三类,三类技术因各自的特点适用于不同的场景。双目测距模仿人眼,将两个2D的传感器组合在一起,利用相似三角形原理计算出被摄物体到相机的距离,原理简单但在实际使用中面临着计算量大以及环境光照干扰的问题,其测量精度会随着测量距离的增加而下降,因此适用于近距离的场景。双目测距计算量大的问题可以采用算法加ASIC芯片的方法解决,但会增加额外的硬件成本,因此就有了升级优化的主动双目视觉技术——结构光方案。结构光方案是将已知的结构化图案投影到被观测的物体上,再根据物体的几何形状和拍摄距离发生形变,红外摄像头观测到图像与原始图案的形变时,就能得到图案像素的视差,恢复深度。此前iPhone X的前置摄像头就采用了结构光技术,通过红外光将大约3万个点阵投射到物体上,用数量庞大的点阵得到深度信息,精度高但同样是有效距离有限,有时也面临深度突变数据缺失的情况,因此更适合手机前摄的刷脸支付。如果说双目和结构光适用于距离较近的场景,那么ToF方案则适用于中远距离的场景。艾迈斯半导体3D产品线高级市场经理Sarah Cheng表示:“ToF的精度取决于其脉冲持续的时间,相比于双目和结构光方案,在精度上不会随着距离的增长而显著降低,所以ToF技术在不同距离的误差相对双目技术和结构光技术更加稳定,在远距离也有更好的精度。”这意味着在三种3D传感技术中,ToF技术最适合用在手机后置。后置3D用例不过,ToF技术也分为iToF和dToF。其中iToF通过发射特定频率的调制光,检测反射调制光与发射调制光之间的相位差,进而测量飞行时间。dToF则是直接向测量物体发射一个光脉冲,然后测量反射光脉冲与发射光脉冲之间的时间间隔,获得飞行时间,进而得知待测物体的深度。哪一种技术更加贴近未来智能手机的发展?艾迈斯半导体高级副总裁陈平路认为,所有人工智能的演进都有离不开数据的采集与传输,都离不开传感器,5G、AR/VR都是大方向。也就是说,作为体量最大的智能设备之一,未来的智能手机需要支持更加沉浸的AR/VR技术。dToF与iToF特性对比Sarah Cheng表示,支持更加沉浸手机AR体验的3D技术需要满足三点:首先需要高质量的深度图。在有用的距离和环境光范围内提供高精度、低噪声、高可信度的深度信息是沉浸式AR的基础。其次低功耗运行对手机应用尤为重要,在保证连续操作的同时需要确保正常的电池运行时间。再次需要稳定的帧屏以便3D摄像头与其他相机的图像融合,同时减少图像重建的时间。Sarah Cheng另外指出,为减少或避免重建过高的时间和功耗,日常所用到的分辨率并不需要特别高,而低分辨率的弱势也可以通过帧累积的方式进行补偿。比较iToF和dToF,iToF在实际应用中面临诸多挑战,例如复杂多变的真实环境带来大量的干扰与噪声、复杂环境中的漫反射甚至镜面反射带来的多镜干扰严重影响3D重建的效果、以及iToF的远距离与高精度采用泛光反射的原理下成为一对难以调和的矛盾。反观dToF,无论是精度距离还是功耗和抗干扰能力,都明显优于iToF,另外在其并不占优势的分辨率上,并不是实现更加沉浸式AR的关键。因此,在目前已有的几种3D视觉技术中,dToF更能带来沉浸式的手机AR体验。艾迈斯打响安卓阵营dToF第一枪既然dToF是更好的选择,为何大多数安卓手机还停留在iToF上甚至弃用ToF技术?Sarah Cheng认为,ToF本身的成本压力以及原本的iToF带给用户有限的效益,降低了市场对ToF技术的接受度,因此才有不少手机厂商商用ToF之后又弃用。Sarah Cheng还指出,dToF的技术成熟面临着一系列的挑战,它需要在芯片设计、系统设计、制造工艺等方面全面突破,才能正在实现技术承诺的优势,并实现在消费场景的普及,也正因如此,至今仍然没有安卓手机厂商可以在其手机平台上搭载3D dToF技术。艾迈斯半导体大中华区应用总监徐冰认为,大多数安卓手机不选用dToF的另一个重要原因是dToF的门槛高,可供手机厂商选择的方案少,因此不如不用。不过,这一现状正在悄然发生变化。在今年MWC大会的最后一天,艾迈斯半导体凭借其独有的在各个构件模块的差异化技术,从光学器件到VCSEL再到自主封装、人眼安全,以及其自主系统设计和算法,推出了自主研发的完整的3D dToF解决方案。艾迈斯半导体官方表示,这套方案为手机厂商扫除其面临的一系列技术挑战,可以在最短的时间内推出最优秀的3D技术手机,手机制造商在开发新的移动应用的同时,也可以提供更优化的AR用户体验。艾迈斯半导体dToF解决方案图案投影根据艾迈斯半导体的介绍,其dToF解决方案差异化优势明显,主要体现在三方面:在所有光强条件下(强光,弱光,室内,室外,较复杂的环境光等),在恒定分辨率下可实现较大的距离检测范围和较高的(不变的)距离检测精度;高环境光抗扰性,其峰值功率高出市面上已有的3D ToF解决方案20多倍,在强光下也有能保持高精度和高性能;针对移动设备优化最低平均功耗。在发布会上,艾迈斯半导体展示了其dToF应用系统搭载虹软中间件和软件算法的样品,从视频中能够看到,这套应用系统在3D渲染时速度比iToF更快且覆盖范围更广,遇到墙面时网格深度信息的精度更高,在细节处理方面误差小。ams dToF解决方案比iToF渲染范围更广Sarah Cheng 表示:“艾迈斯半导体作为市面上现有的唯一的dToF全套系统供应商,其完整的3D dToF技术堆栈可以最大限度地降低手机厂商集成的复杂度和工作量,同时达到系统最优化。同时跟系统在灵敏度、功耗、功率和分辨率上都优于市面上同类技术。”艾迈斯半导体dToF解决方案3D渲染效果安卓手机有望在2021年底装上dToF艾迈斯半导体在发布会上表示,在产品逐渐走向量产化的同时,艾迈斯半导体也正在与成熟生态系统厂商协作,包括与基于高通平台的安卓开发商以及国内知名商虹软科技合作,提供最佳AR体验的dToF解决方案,计划于2021年底开始投产,数量接近百万级别。而随着dToF解决方案的投产,VCSEL效率或者SPAD效率的提高,dToF的价格将逐渐向iToF靠近,这就意味安卓手机有望在2021年底用上dToF,从摄像头方面追赶iPhone,提升其在远距离、精度以及低功耗方面的实力。不过,dToF技术在安卓手机上的大规模应用仍需一段时间的市场检验,也许安卓手机传感器先追赶上iPhone,又或者是iPhone再次先一步在dToF技术上取得创新。文中图片源自艾迈斯半导体官方雷锋网雷锋网雷锋网

打响安卓手机dToF“第一枪”

去年十月,苹果推出了配有LiDAR(激光雷达)的iPhone 12 Pro,首次将dToF技术用到手机设备中,通过激光触及物体后反射回来所用的时间绘制出使用者所处空间的深度图,同时在也能让AR效果更加逼真,打通真实与虚拟的交接,置身于室内就能感受逼真的雨林。

这不是ToF技术与移动设备的第一次结合,苹果在去年3月份发布的iPad Pro中就已经用到ToF技术,国内也有不少手机厂商让ToF上手机,为此还有著名的小米荣耀ToF之争。

需要注意的是,虽然同为ToF,但国内几乎所有的旗舰手机采用的是iToF,还未用上iPhone 12 Pro所采用的dToF技术。

不过,在今年的MWC大会的最后一天,高性能传感器解决方案供应商艾迈斯半导体与ArcSoft合作,发布了针对移动设备后置3D dToF传感的整套解决方案,有望在2021年底让安卓手机后置也装上dToF传感器。

dToF带来更加沉浸式AR体验

一般而言, 3D成像传感技术可以分为双目测距、结构光和ToF三类,三类技术因各自的特点适用于不同的场景。

双目测距模仿人眼,将两个2D的传感器组合在一起,利用相似三角形原理计算出被摄物体到相机的距离,原理简单但在实际使用中面临着计算量大以及环境光照干扰的问题,其测量精度会随着测量距离的增加而下降,因此适用于近距离的场景。

双目测距计算量大的问题可以采用算法加ASIC芯片的方法解决,但会增加额外的硬件成本,因此就有了升级优化的主动双目视觉技术——结构光方案。

结构光方案是将已知的结构化图案投影到被观测的物体上,再根据物体的几何形状和拍摄距离发生形变,红外摄像头观测到图像与原始图案的形变时,就能得到图案像素的视差,恢复深度。

此前iPhone X的前置摄像头就采用了结构光技术,通过红外光将大约3万个点阵投射到物体上,用数量庞大的点阵得到深度信息,精度高但同样是有效距离有限,有时也面临深度突变数据缺失的情况,因此更适合手机前摄的刷脸支付。

如果说双目和结构光适用于距离较近的场景,那么ToF方案则适用于中远距离的场景。

艾迈斯半导体3D产品线高级市场经理Sarah Cheng表示:“ToF的精度取决于其脉冲持续的时间,相比于双目和结构光方案,在精度上不会随着距离的增长而显著降低,所以ToF技术在不同距离的误差相对双目技术和结构光技术更加稳定,在远距离也有更好的精度。”

这意味着在三种3D传感技术中,ToF技术最适合用在手机后置。

后置3D用例

不过,ToF技术也分为iToF和dToF。其中iToF通过发射特定频率的调制光,检测反射调制光与发射调制光之间的相位差,进而测量飞行时间。dToF则是直接向测量物体发射一个光脉冲,然后测量反射光脉冲与发射光脉冲之间的时间间隔,获得飞行时间,进而得知待测物体的深度。哪一种技术更加贴近未来智能手机的发展?

艾迈斯半导体高级副总裁陈平路认为,所有人工智能的演进都有离不开数据的采集与传输,都离不开传感器,5G、AR/VR都是大方向。也就是说,作为体量最大的智能设备之一,未来的智能手机需要支持更加沉浸的AR/VR技术。

dToF与iToF特性对比

Sarah Cheng表示,支持更加沉浸手机AR体验的3D技术需要满足三点:

  • 首先需要高质量的深度图。在有用的距离和环境光范围内提供高精度、低噪声、高可信度的深度信息是沉浸式AR的基础。

  • 其次低功耗运行对手机应用尤为重要,在保证连续操作的同时需要确保正常的电池运行时间。

  • 再次需要稳定的帧屏以便3D摄像头与其他相机的图像融合,同时减少图像重建的时间。

Sarah Cheng另外指出,为减少或避免重建过高的时间和功耗,日常所用到的分辨率并不需要特别高,而低分辨率的弱势也可以通过帧累积的方式进行补偿。

比较iToF和dToF,iToF在实际应用中面临诸多挑战,例如复杂多变的真实环境带来大量的干扰与噪声、复杂环境中的漫反射甚至镜面反射带来的多镜干扰严重影响3D重建的效果、以及iToF的远距离与高精度采用泛光反射的原理下成为一对难以调和的矛盾。

反观dToF,无论是精度距离还是功耗和抗干扰能力,都明显优于iToF,另外在其并不占优势的分辨率上,并不是实现更加沉浸式AR的关键。

因此,在目前已有的几种3D视觉技术中,dToF更能带来沉浸式的手机AR体验。

艾迈斯打响安卓阵营dToF第一枪

既然dToF是更好的选择,为何大多数安卓手机还停留在iToF上甚至弃用ToF技术?

Sarah Cheng认为,ToF本身的成本压力以及原本的iToF带给用户有限的效益,降低了市场对ToF技术的接受度,因此才有不少手机厂商商用ToF之后又弃用。

Sarah Cheng还指出,dToF的技术成熟面临着一系列的挑战,它需要在芯片设计、系统设计、制造工艺等方面全面突破,才能正在实现技术承诺的优势,并实现在消费场景的普及,也正因如此,至今仍然没有安卓手机厂商可以在其手机平台上搭载3D dToF技术。

艾迈斯半导体大中华区应用总监徐冰认为,大多数安卓手机不选用dToF的另一个重要原因是dToF的门槛高,可供手机厂商选择的方案少,因此不如不用。

不过,这一现状正在悄然发生变化。

在今年MWC大会的最后一天,艾迈斯半导体凭借其独有的在各个构件模块的差异化技术,从光学器件到VCSEL再到自主封装、人眼安全,以及其自主系统设计和算法,推出了自主研发的完整的3D dToF解决方案。

艾迈斯半导体官方表示,这套方案为手机厂商扫除其面临的一系列技术挑战,可以在最短的时间内推出最优秀的3D技术手机,手机制造商在开发新的移动应用的同时,也可以提供更优化的AR用户体验。

艾迈斯半导体dToF解决方案图案投影

根据艾迈斯半导体的介绍,其dToF解决方案差异化优势明显,主要体现在三方面:

  • 在所有光强条件下(强光,弱光,室内,室外,较复杂的环境光等),在恒定分辨率下可实现较大的距离检测范围和较高的(不变的)距离检测精度;

  • 高环境光抗扰性,其峰值功率高出市面上已有的3D ToF解决方案20多倍,在强光下也有能保持高精度和高性能;

  • 针对移动设备优化最低平均功耗。

在发布会上,艾迈斯半导体展示了其dToF应用系统搭载虹软中间件和软件算法的样品,从视频中能够看到,这套应用系统在3D渲染时速度比iToF更快且覆盖范围更广,遇到墙面时网格深度信息的精度更高,在细节处理方面误差小。

ams dToF解决方案比iToF渲染范围更广

Sarah Cheng 表示:“艾迈斯半导体作为市面上现有的唯一的dToF全套系统供应商,其完整的3D dToF技术堆栈可以最大限度地降低手机厂商集成的复杂度和工作量,同时达到系统最优化。同时跟系统在灵敏度、功耗、功率和分辨率上都优于市面上同类技术。”

艾迈斯半导体dToF解决方案3D渲染效果

安卓手机有望在2021年底装上dToF

艾迈斯半导体在发布会上表示,在产品逐渐走向量产化的同时,艾迈斯半导体也正在与成熟生态系统厂商协作,包括与基于高通平台的安卓开发商以及国内知名商虹软科技合作,提供最佳AR体验的dToF解决方案,计划于2021年底开始投产,数量接近百万级别。

而随着dToF解决方案的投产,VCSEL效率或者SPAD效率的提高,dToF的价格将逐渐向iToF靠近,这就意味安卓手机有望在2021年底用上dToF,从摄像头方面追赶iPhone,提升其在远距离、精度以及低功耗方面的实力。

不过,dToF技术在安卓手机上的大规模应用仍需一段时间的市场检验,也许安卓手机传感器先追赶上iPhone,又或者是iPhone再次先一步在dToF技术上取得创新。

文中图片源自艾迈斯半导体官方

雷锋网雷锋网雷锋网