全平台AI视频补帧工具(DAIN/CAIN/RIFE-ncnn-vulkan)-轻识

点击上方“AI算法与图像处理”，选择加"星标"或“置顶”

重磅干货，第一时间送达

话说Happy很早之前就在关注nihui大佬的NCNN版本的视频插帧工具了，大概是在CAIN吧，也是从那个时候起开始对视频插帧产生了兴趣。现在DAIN 、CAIN、RIFE三个优秀视频插帧工具来了，感兴趣的同学建议去下载试用一下。

注：本文已获作者授权转载，转载请联系作者。

https://zhuanlan.zhihu.com/p/338258331

编辑：AI walker

功能

支持的操作系统

Windows
Linux
MacOS(Happy体验过多次，切实好用，哈哈)

支持的显卡

Nvidia
AMD
Intel
Apple (Apple M1)

特性

DAIN 支持任意时刻点补帧，如0.1，0.3，0.99这样，速度较慢，显存占用高 CAIN/RIFE 只支持0.5时刻点补帧，速度较快，显存占用低

下载地址

DAIN：https://github.com/nihui/dain-ncnn-vulkan/releases
CAIN：https://github.com/nihui/cain-ncnn-vulkan/releases
RIFE：https://github.com/nihui/rife-ncnn-vulkan/releases

用法简介

下载对应软件包zip + 模型包zip，解压到同一个目录中
ffmpeg 视频抽帧到文件夹 + 解出音频
使用本AI视频补帧工具(DAIN/CAIN/RIFE)，进行图片文件夹到文件夹补帧运算
ffmpeg 将补好帧的图片文件 + 音频编码为最终视频

mkdir input_frames
mkdir output_frames

# find the source fps and format with ffprobe, for example 24fps, AAC
ffprobe input.mp4

# extract audio
ffmpeg -i input.mp4 -vn -acodec copy audio.m4a

# decode all frames
ffmpeg -i input.mp4 input_frames/frame_%06d.png

# interpolate 2x frame count
./rife-ncnn-vulkan -i input_frames -o output_frames

# encode interpolated frames in 48fps with audio
ffmpeg -framerate 48 -i output_frames/%08d.png -i audio.m4a -c:a copy -crf 20 -c:v libx264 -pix_fmt yuv420p output.mp4

开源项目地址

https://github.com/baowenbo/DAIN
https://github.com/myungsub/CAIN
https://github.com/hzwer/arXiv2020-RIFE
https://github.com/nihui/dain-ncnn-vulkan
https://github.com/nihui/cain-ncnn-vulkan
https://github.com/nihui/rife-ncnn-vulkan

效果展示

输入两张图，中间补一帧

DAIN效果如下：CAIN效果如下：RIFE效果如下：

注：banner原作：https://www.pixiv.net/artworks/84655195

下载1：何恺明顶会分享

在「AI算法与图像处理」公众号后台回复：何恺明，即可下载。总共有6份PDF，涉及 ResNet、Mask RCNN等经典工作的总结分析

下载2：leetcode 开源书

在「AI算法与图像处理」公众号后台回复：leetcode，即可下载。每题都 runtime beats 100% 的开源好书，你值得拥有！

下载3 CVPR2020

在「AI算法与图像处理」公众号后台回复：CVPR2020，即可下载1467篇CVPR 2020论文

个人微信（如果没有备注不拉群！）

请注明：地区+学校/企业+研究方向+昵称

觉得不错就点亮在看吧