银牛微电子：结构光和ToF都只是“暖场戏”，双目立体视觉才是未来！
11月25日下午，国内3D视觉技术厂商银牛微电子（无锡）有限责任公司（以下简称“银牛微电子”）召开线上发布会，介绍了自研的第二代深度感知芯片NU4000，同时推出了基于NU4000芯片的3D机器视觉模组——银牛C158。
△银牛微电子联合创始人兼副总裁的何火高（左）、银牛微电子董事长兼CEO曲冠诚（右）
3D视觉市场持续火爆
银牛微电子5天时间并购以色列Inuitive
自2017年9月，苹果率先在iPhone X手机当中采用将3D结构光技术，并以3D人脸识别取代指纹识别作为其身份认证的主要方式之后，随后众多手机大厂也开始跟进，3D视觉市场被彻底引爆。经过近几年的发展，3D视觉技术已经进入越来越多的行业应用市场。
根据第三方权威市调机构Yole的预测数据也显示，全球3D成像和传感器的市场规模在2016–2022年的CAGR为38%，2017年市场规模18.3亿美元，2022年市场规模将超过90亿美元。其中，以智能手机为代表的消费电子是增速最快的应用场，2016–2022年的CAGR高达160%，到2022年市场规模将超过60亿美元。
在3D视觉市场火爆的同时，围绕3D视觉厂商的融资及并购案也开始急剧增长。
另据36氪统计，2019年至2020年第一季度，工业视觉领域发生过44起的融资案例，这些公司的业务兼顾2D/3D视觉技术。其中，千万元级别融资有29笔，过亿元融资也有6笔。
而银牛微电子的3D机器视觉技术及芯片也是来源于对以色列厂商Inuitive的收购。
资料显示，Inuitive成立于2012年，是一家以色列3D计算机视觉和图像处理器芯片设计厂商，支持运行复杂的即时深度感测、特征跟踪、目标识别、深度学习和其它以各种移动物体为目标的视觉算法。其产品主要是支持3D图像处理和人工智能处理的ASIC芯片，目前已有NU3000/NU4000两代产品，拥有至少25项跨学科专利。
据银牛微电子董事长兼CEO曲冠诚介绍：“Inuitive作为一家成立近10年的3D机器视觉厂商，在3D机器视觉领域有着深厚的技术积累，核心的IP都是完全自研的，此前很多国际大公司都曾有意收购Inuitive，但是都由于各种原因没有成功。在去年的疫情期间，我们就开始积极与Inuitive进行接触，凭借我本人之前积累的丰富的并购经验，银牛微电子成立于2020年8月15日，十天后的8月25日就成功与以色列Inuitive签订了并购协议，除去这中间的假期时间，整个并购从谈判到协议签署仅用了不到5天的工作日时间。”
曲冠诚强调，为了保障对于Inuitive的控制权及收购后团队的稳定，银牛微电子在实现对Inuitive的绝对控股的同时，保留了Inuitive核心技术团队及管理团队所持有的股权，并且还对核心技术团队及管理团队进行了激励，维系了团队的凝聚力。
据了解，2020年11月银牛微电子在完成对Inuitive收购后，Inuitive的员工流失率极低，核心员工完全没有流失。目前，中国的团队也已经组建完毕，汇聚了来自全球顶级公司（高通、英特尔、英伟达、联发科、Cadence、Synopsys，华为、高盛）的人才。两个团队也一直在密切协作，公司也已经重新聚焦到了技术和产品本身，制定了未来三年的芯片开发路线图，筛选了12个重点的应用市场进行发力 。以色列团队主要负责芯片和技术的研发，国内团队则负责产品化和市场化的落地、供应链资源的整合以及本地化的服务。今年中国团队就成功完成了3D机器视觉模组产品在中国的量产。虽然以色列团队此前有推出过一些参考设计，但是都没有真正量产。
曲冠诚透露，银牛微电子一成立，就是国际化的公司和国际化的团队，后续银牛微电子的以色列团队和中国团队还将会有比较激进的扩建计划，在芯片设计、软件、解决方案等方面，陆续会有重量级的人才加入银牛团队。比如刚刚加入银牛微电子担任联合创始人兼副总裁的何火高，就曾是英特尔Realsense中国区的业务负责人。
加速3D机器视觉技术落地
银牛微电子推出3D机器视觉模组C158
银牛微电子虽然成立仅1年多的时间，但是通过对于Inuitive的收购，拥有了多项核心技术，包括：
1、深度感知技术：深度视觉引擎等专为3D感知功能设计的独特IP，性能功耗均比市场上的其他解决方案优异；
2、SLAM (Simultaneous Localization and Mapping) “实时定位与建图”：可以在运动过程中实现传感器探测并建立环境的模型，同时估计自己的运动并定位；
3、TimeWarp异步时间扭曲（Asynchronous Timewarp简称ATW）：ATW能产生中间帧，从而有效减少画面的抖动，银牛微电子将此部分功能以硬件实现的方式实现大幅度的降低延迟，从动作到画面的反应延迟小于1ms。该技术非常适合应用于VR头显类产品，以提升视觉体验。
在具体的产品方面，Inuitive此前就已经推出过两代的3D深度感知芯片，目前对外供应的最新的是NU4000。
据介绍，NU4000是2019年推出的，基于12nm工艺，内部集成了专用的深度感知加速器，配合银牛微电子自研的深度算法，可支持双目立体视觉和结构光；集成了CEVA的XM4智能视觉处理器IP，支持卷积神经网络（CNN）等深度学习算法，可实时生成3D深度图和点云数据，可用于目标识别等方面；集成了SLAM实时跟踪建图引擎，支持高精度的实时建图和回归（让机器能够知道自己在哪里，能够回到原来去的地方），支持120fps的两路摄像头，支持6自由度坐标的重定位；集成了Arm Cortex-A5内核，主频1.2GHz，支持嵌入式Linux操作系统及LPDD4内存；拥有丰富的I/O接口，比如USB3、Type-C、6个可配置的I²C控制器、3个UART（波特率高达921.6K bps）。功耗方面，NU4000在处理HD@30fps规格的深度图时，其功耗可以低至861mW。
从上面的介绍不难看出，NU4000功能非常强大，这不仅是一款3D深度感知图像处理器芯片，还具有强大的AI能力，结合SLAM实时跟踪建图引擎，以及通用CPU内核与丰富的I/O接口，可以极大限度的满足客户的3D机器视觉产品开发需求，并且芯片的工作功耗也是非常的低。
当然，对于大多数终端客户来说，单纯的基于NU4000芯片来开发出一款3D机器视觉产品还是有着较高技术难度的，会使得开发周期变长，研发投入大幅增加。
对此，银牛微电子基于NU4000芯片推出了一款3D机器视觉模组C158，提供了从3D感知到计算到系统的一体化解决方案。
据介绍，银牛C158采用的是主动式双目立体视觉技术，机身尺寸为125×40×27mm，拥有两个鱼眼镜头，一个RGB摄像头，两个红外摄像头，顶部还有一个红外激光发射投射器，整体工作功耗仅1.4W。
具体的功能方面，银牛C158基于NU4000的强大的3D深度感知图像处理性能和AI性能（AI算力可达5-6TOPs），可以实现0.3m-6m的3D感智距离，1280×800@60FPS的高清分辨率，视场角可达66°×44°，精度可达1%深度精度，识别距离可达6米（6米是经过验证的，最远甚至可以达到150米）。另外，结合两颗鱼眼镜头（视场角可以达到166.5°，且支持100fps的帧率）及板载的6轴陀螺仪，银牛C158可以实现高精度稳定的位置追踪能力，再加上银牛的SLAM事实跟踪建图引擎，使得银牛C158非常适用于有着自主避障、自主导航等方面功能需求的产品应用。
银牛微电子联合创始人兼副总裁何火高表示：“银牛C158除了可以应用于无人机、老年代步车的自动驾驶、扫地机器人、消杀机器人、服务机器人等这有着自主避障、自主导航等方面的需求的产品应用之外，凭借其高精度的3D机器视觉能力，也可应用于3D扫描重建、医美整形（面部整形、牙齿矫正）、人脸识别（刷脸支付）、自动摘水果/茶叶等农作物的农业机器人的对于3D机器视觉精度要求较高的应用领域。”
结构光和ToF都是暖场戏，双目立体视觉才是未来？
众所周知，目前主流的3D视觉技术主要有三种，分别是双目立体视觉、结构光和ToF（Time of Flight，又分为iToF和DToF）。从技术上来看，这三种技术各有优劣。
双目成像具有3D成像分辨率最高、精度最高、抗强光干扰性强、识别距离远等优势，但是其缺点也非常明显，比如其算法非常复杂、容易受到环境因素干扰、依赖环境光源、暗光场景表现不佳等。
3D结构光具有近距离精度相对较高，通过一次成像就可以得到深度信息，成像分辨率高，功耗相对较低等优势，而且由于苹果iPhone对于3D结构光技术的带动，使得该技术目前已经非常成熟，成本也快速降低。但是，3D结构光也有着识别距离相对较短（作用距离通常在0.2米到1.2米，甚至更远可以到5米，但是精度会下降），模组结构也比较复杂，成像容易受强光干扰等缺点。
ToF技术的优势在于其识别的距离比结构光更远（0.4米到5米左右），抗干扰性强，且其每个点都可以直接提供完整的深度信息，传输出来的数据就已经是可用的，并且光速等物理信息均为已知，因此只需通过相对简单的算法就可以将扫描对象从背景当中分离出来，获得3D图像。不需要像结构光那样，需要通过CPU/ASIC进行大量计算取得它的深度信息和幅度信息。虽然，ToF传感器本身的功耗相对高，但由于其深度信息计算量小，对应的计算需要消耗的功耗也低，所以整体的系统级功耗也能够得到控制。目前TOF方案的瓶颈在于图像深度信息分辨率较低。
从目前市场的商用情况来看，虽然由于苹果的力推，结构光在2017年之后很快成为了3D视觉领域的主流方案，但是由于结构的识别距离相对较短，这也使得其应用领域主要集中在人脸识别解锁/支付，近距离的3D建模等方面。相比之下，由于ToF技术的识别距离更远、抗干扰性更强，使得ToF技术不仅可以应用于3D人脸识别、3D建模等方面，还可适用于环境重构、手势识别、体感游戏、AR/VR等多方面的应用。特别是随着近两年AR/VR市场的重新火爆，ToF技术大获热捧，大有取代结构光之势。
目前结构光和ToF技术都已接连火爆，相比之下，双目立体视觉就有点不温不火的感觉。
此前，市场上力推双目立体视觉技术的主要是英特尔Realsense，2015年英特尔就推出了基于双目立体视觉技术的D200系列模组，目前最新的是基于主动双目立体视觉技术的D400系列模组。但是，最新的消息显示，英特尔将关闭RealSense计算机视觉技术部门，逐步减少投资3D相机和传感器，未来将专注于芯片制造等核心业务。这也意味着英特尔即将退出3D机器视觉领域。
那么，银牛微电子为何还要选择在双目立体视觉技术上发力呢？
银牛微电子联合创始人兼首席战略官白逸表示：“随着3D机器视觉技术的发展，对于精度、FPS、分辨率、识别距离的要求肯定是会越来越高的，这也是双目立体视觉技术的最大优势，未来甚至可以达到与人眼接近的水平。而双目立体视觉所面临的依赖环境光源、暗光场景表现不佳、算法复杂、处理速度慢等问题，目前我们都已经有了很好的解决方案比如我们加入了红外镜头、红外激发射器等，解决了依赖环境光源、暗光场景表现不佳的问题。我们性能强劲的NU4000芯片也解决了算法复杂、处理速度慢的问题。”
“如果说3D机器视觉技术竞争是一场演出，那么我们认为，结构光和ToF都是暖场戏，真正的演出的“主角”将是双目立体视觉。即使是未来的更完善的融合型方案，双目立体视觉也将会是主导，当然其他技术我们也将会有充足的准备，我们的芯片可以支持结构光，后续也会全面支持ToF。我们认为，未来应用场景最为广阔的将会是双目立体视觉技术。”白逸总结说到。
作者：芯智讯-浪客剑
突发！美国将国科微、国盾量子、新华三半导体等12家中企列入“实体清单”
创疆投资收购LPE被否决后，意大利政府再度否决一起中资半导体收购案
全球安防50强公布：这家中国公司为何能成为唯一上榜的CIS企业？
行业交流、合作请加微信：icsmart01
芯智讯官方交流群：221807116