OpenCV4中DIS光流算法与应用
点击上方“小白学视觉”,选择加"星标"或“置顶”
重磅干货,第一时间送达
OpenCV4中新光流算法 - DIS光流
OpenCV中KLT稀疏光流算法与FB稠密光流算法都是十年前的算法,没有反应出光流算法的最新进展,这个跟OpenCV其它模块相比,光流算法模块的更新明显滞后、OpenCV4发布终于把DIS光流算法包含到正式的发布版中。相对于FB光流基于多项式实现光流移动估算,DIS光流采用反向搜索与梯度下降寻求最优化来解决移动估算,不但降低了计算量、而且提升了精准度与实时性能。是一种可以实时运行的视频运动分析算法。
DIS(稠密逆搜索)光流算法主要有三个核心部分组成
对应关系的快速逆搜索
多尺度推理的快速光流
快速的变分求精
以前的FB光流基于多项式方式,是基于像素级别的光流估算、非常耗时、这里作者提出基于块级别的相关性反向搜索,实现一次计算梯度,多次反向搜索使用,不用每次重新初始化计算梯度,节省了大量计算,从而提高了性能。基于网格化实现反向搜索、稠化光流与优化。完整的流程如下:

运行效果

创建DIS光流实例与调用计算光流
C++版本
Ptr<DenseOpticalFlow> algorithm = DISOpticalFlow::create(DISOpticalFlow::PRESET_FAST);
algorithm->calc(preGray, gray, flow);
Python版本
dis = cv.DISOpticalFlow_create(1)
flow = dis.calc(prvs,next, None,)
这里创建DIS支持三种计算方式如下:
PRESET_ULTRAFAST = 0,
PRESET_FAST = 1,
PRESET_MEDIUM = 2
主要的区别选择不同的算法迭代优化测次数不一样、计算耗时也不一样。运行效果如下:


完整的python版本演示代码
import cv2 as cv
import numpy as np
cap = cv.VideoCapture("D:/images/video/vtest.avi")
# https://www.bzarg.com/p/how-a-kalman-filter-works-in-pictures/
ret, frame1 = cap.read()
prvs = cv.cvtColor(frame1,cv.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[...,1] = 255
dis = cv.DISOpticalFlow_create()
while(1):
ret, frame2 = cap.read()
next = cv.cvtColor(frame2,cv.COLOR_BGR2GRAY)
flow = dis.calc(prvs,next, None,)
# flow = cv.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
mag, ang = cv.cartToPolar(flow[...,0], flow[...,1])
hsv[...,0] = ang*180/np.pi/2
hsv[...,2] = cv.normalize(mag,None,0,255,cv.NORM_MINMAX)
bgr = cv.cvtColor(hsv,cv.COLOR_HSV2BGR)
cv.imshow('result',bgr)
cv.imshow('input', frame2)
k = cv.waitKey(30) & 0xff
if k == 27:
break
elif k == ord('s'):
cv.imwrite('opticalfb.png',frame2)
cv.imwrite('opticalhsv.png',bgr)
prvs = next
cap.release()
cv.destroyAllWindows()
说实话,明显比FB与KLT光流法都要速度快,效果也是很好,DIS光流必须有!
好消息!
小白学视觉知识星球
开始面向外开放啦👇👇👇
下载1:OpenCV-Contrib扩展模块中文版教程 在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。 下载2:Python视觉实战项目52讲 在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。 下载3:OpenCV实战项目20讲 在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。 交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~