话说Happy很早之前就在关注nihui大佬的NCNN版本的视频插帧工具了，大概是在CAIN吧，也是从那个时候起开始对视频插帧产生了兴趣。现在DAIN 、CAIN、RIFE三个优秀视频插帧工具来了，感兴趣的同学建议去下载试用一下。
功能
支持的操作系统
- Windows
- Linux
- MacOS(Happy体验过多次，切实好用，哈哈)
支持的显卡
- Nvidia
- AMD
- Intel
- Apple (Apple M1)
特性
DAIN 支持任意时刻点补帧，如0.1，0.3，0.99这样，速度较慢，显存占用高 CAIN/RIFE 只支持0.5时刻点补帧，速度较快，显存占用低
下载地址
- DAIN：https://github.com/nihui/dain-ncnn-vulkan/releases
- CAIN：https://github.com/nihui/cain-ncnn-vulkan/releases
- RIFE：https://github.com/nihui/rife-ncnn-vulkan/releases
用法简介
- 下载对应软件包zip + 模型包zip，解压到同一个目录中
- ffmpeg 视频抽帧到文件夹 + 解出音频
- 使用本AI视频补帧工具(DAIN/CAIN/RIFE)，进行图片文件夹到文件夹补帧运算
- ffmpeg 将补好帧的图片文件 + 音频编码为最终视频
mkdir input_frames
mkdir output_frames
find the source fps and format with ffprobe, for example 24fps, AAC
ffprobe input.mp4
extract audio
ffmpeg -i input.mp4 -vn -acodec copy audio.m4a
decode all frames
ffmpeg -i input.mp4 input_frames/frame_%06d.png
interpolate 2x frame count
./rife-ncnn-vulkan -i input_frames -o output_frames
encode interpolated frames in 48fps with audio
ffmpeg -framerate 48 -i output_frames/%08d.png -i audio.m4a -c:a copy -crf 20 -c:v libx264 -pix_fmt yuv420p output.mp4
开源项目地址
- https://github.com/baowenbo/DAIN
- https://github.com/myungsub/CAIN
- https://github.com/hzwer/arXiv2020-RIFE
- https://github.com/nihui/dain-ncnn-vulkan
- https://github.com/nihui/cain-ncnn-vulkan
- https://github.com/nihui/rife-ncnn-vulkan
效果展示
输入两张图，中间补一帧
DAIN效果如下：
CAIN效果如下：
RIFE效果如下：
