关于事件相机的整理与思考
点击下方卡片,关注“新机器视觉”公众号
重磅干货,第一时间送达
没有帧率的概念,它不同于等时间间距采样的方式,其通过等亮度变化值采样的方式,可以捕捉更快的动作,对快速变化的亮度十分敏感,所以不受运动模糊的影响;
单个像素的电路设计比较复杂,无法获得单个像素的亮度值,并且其采用对数响应的方式,所以可以获得较高的动态测量范围和高时间分辨率;
减少数据冗余,极大减小了数据的传输带宽;
一)事件相机的原理
二)关于事件的理解
三)事件相机的处理范式
c)SNN:全称Spiking Neural Networks,是一种脉冲事件的神经网络。它将视觉空间中的一个小区域作为输入事件,不同于CNN的每一次迭代传播都被激活,只有当event的状态超过一定阈值时,才会激活,产生输出。关于SNN,则是另外一个全新的领域,这里不做介绍。
四)关于事件相机的思考
事件相机具有很高的频率(可以达到1000Hz以上),但无论在无人机还是自动驾驶领域,都不需要太高的频率(200Hz足以)。而目前传统相机也有达到200Hz以上,如iphoneX的摄像头频率可达240Hz。
事件相机可以在检测、目标重建方向发挥更大的作用,但在视频理解、语义分割领域还存在很大的缺陷。另外随着深度学习的发展,利用视频连续帧之间关系,也能够达到类似event的特点,如深度估计或光流估计。
事件相机适应性较强,在低光照或者高动态环境下信号稳定,可以与传统的相机相结合,即将event sensor集成在普通相机中(如 Dynamic and Active-pixel Vision Sensor,集成了event sensor、普通相机、IMU等),多方优势互补,既能在低光照或者高动态下获得稳定的信号,又能够进行视频理解、语义分割等功能。这种相机可以用在无人机或者无人驾驶领域。
来源:韦心雕AI
本文仅做学术分享,如有侵权,请联系删文。