OpenCV保存H264视频的问题

环境

• windows 10 64bit
• opencv 4.5.3

前言

看到有小伙伴在聊，如何将目标检测的结果保存成视频的相关问题？本篇我们就来看看。

opencv保存视频

在绝大多数的目标检测项目中，都是使用opencv这个开源的计算机视觉库来进行图片、视频或者摄像头的读写。

关于视频保存，来看下面的代码示例

import cv2

cap = cv2.VideoCapture('test.mp4')

width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS)
fourcc = int(cv2.VideoWriter_fourcc(*'MJPG'))

out = cv2.VideoWriter('output.avi', fourcc, fps, (width,  height))

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break

    out.write(frame)
    cv2.imshow('frame', frame)
    if cv2.waitKey(1) == ord('q'):
        break

cap.release()
out.release()
cv2.destroyAllWindows()

主要是VideoWriter对象，这里需要几个重要参数，输出文件名、宽width、高height、帧率fps和fourcc。除了fourcc，其它几项都很好理解。

FourCC是一个4字节码，用来表示视频编码器，网站 fourcc.org 列出了所有可用的编码器。在VideoWriter中既可以写成*'MJPG'，也可以写成'M', 'J', 'P', 'G'。但是并不是说，所有的编码器都可以使用。

使用H264编码器

在上面代码的基础上我们修改一下，使用h264编码器

import cv2

cap = cv2.VideoCapture('test.mp4')

width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS)
fourcc = int(cv2.VideoWriter_fourcc(*'H264'))

out = cv2.VideoWriter('output.mp4', fourcc, fps, (width,  height))

# 后面代码省略了

执行代码后，报错了

OpenCV: FFMPEG: tag 0x34363248/'H264' is not supported with codec id 27 and format 'mp4 / MP4 (MPEG-4 Part 14)'
OpenCV: FFMPEG: fallback to use tag 0x31637661/'avc1'

Failed to load OpenH264 library: openh264-1.8.0-win64.dll
        Please check environment and/or download library: https://github.com/cisco/openh264/releases

[libopenh264 @ 000001fe3bfcb240] Incorrect library version loaded
[ERROR:0] global /build/opencv/modules/videoio/src/cap_ffmpeg_impl.hpp (2774) open Could not open codec libopenh264, error: Unspecified error
[ERROR:0] global /build/opencv/modules/videoio/src/cap_ffmpeg_impl.hpp (2791) open VIDEOIO/FFMPEG: Failed to initialize VideoWriter

从错误信息中可以看到，H264字节码并不被支持，自动帮你替换成了avc1，opencv默认使用ffmpeg框架来处理视频，但是ffmpeg并没有h264解码器。报错之外，还提供了一个解决方案，那就是去使用cisco开源的openh264。

接下来去站点 https://github.com/cisco/openh264/releases 下载1.8.0版本的dll文件，并和源码文件放在同一级目录，然后将fourcc也改为avc1，执行代码

看到，报错信息不见了，针对生成的mp4文件，使用ffmpeg命令查看其信息

Stream #0:0(und): Video: h264 (Constrained Baseline) (avc1 / 0x31637661), yuv420p, 1440x1080, 538 kb/s, 29.92 fps, 29.92 tbr, 29917 tbn, 59834 tbc (default)

可以看到，视频编码确实是h264。

为什么不内置h264

这主要是许可证的问题，libx264是基于GPL的，而ffmpeg要使用libx264的话，必须--enable-gpl，而opencv则用的是MIT许可。具体的，可以看看这个链接 https://github.com/opencv/opencv-python/issues/299