FunClip:阿里巴巴出品的开源AI自动化视频剪辑工具
原创 2024-07-28 22:01:07
949

在数字化媒体时代,视频内容的创作和编辑变得日益重要。阿里巴巴集团通过其达摩院通义实验室推出了FunClip,一款开源的AI视频剪辑工具,旨在简化视频编辑流程,提高创作效率。

FunClip是什么?

FunClip一款完全开源、本地部署的开源AI自动化视频剪辑工具。通过调用阿里巴巴通义实验室开源的FunASR Paraformer系列模型进行视频的语音识别,随后用户可以自由选择识别结果中的文本片段或说话人,点击裁剪按钮即可获取对应片段的视频。它利用了先进的语音识别技术,自动化地对视频中的语音进行识别和转换,使用户能够快速裁剪出视频中的特定片段。

FunClip的主要功能

  1. 自动化语音识别:FunClip使用FunASR Paraformer系列模型,实现对视频中语音的高精度识别。

  2. 热词定制化:通过SeACo-Paraformer模型,用户可以自定义热词,提升特定词汇的识别准确率。

  3. 说话人识别:集成CAM++模型,自动识别视频中的说话人,并允许用户根据说话人ID裁剪视频。

  4. 视频裁剪:用户可以根据识别的文本或说话人选择特定片段进行裁剪。

  5. Gradio交互界面:提供了一个用户友好的Web界面,简化了剪辑流程,使得操作更加直观。

  6. 多段剪辑支持:支持对视频进行多段剪辑,提供更大的编辑灵活性。

  7. 自动生成字幕:剪辑后的视频可以自动生成SRT字幕文件,方便后续编辑和使用。

FunClip的特色

FunClip:阿里巴巴出品的开源AI自动化视频剪辑工具
  • 开源本地部署:FunClip完全开源,支持本地部署,保护用户隐私。

  • 高精度中文ASR模型:集成了目前最优的开源中文ASR模型之一,提供准确的语音识别。

  • 易于使用的界面:Gradio交互界面简化了操作流程,使得视频剪辑变得简单方便。

  • 命令行调用:除了图形界面,还支持命令行操作,提供更灵活的使用方式。

如何使用FunClip

本地部署

1、确保电脑上已安装Python和Git。

2、通过Git克隆FunClip的GitHub仓库。

3、安装Python依赖。

4、运行FunClip的启动脚本

python funclip/launch.py
# '-l en' for English audio recognize
# '-p xxx' for setting port number
# '-s True' for establishing service for public accessing

5、通过浏览器访问localhost:7860体验FunClip。

在线体验

  1. 访问ModelScope魔搭社区提供的在线Demo。

  2. 上传视频或音频文件,点击「识别」按钮。

  3. 根据识别结果选择文本片段或设置说话人标识。

  4. 点击「裁剪」按钮获得结果。

命令行操作

  1. 克隆GitHub源代码。

  2. 安装Python依赖。

  3. 使用命令行运行视频识别和裁剪的相关指令。

如:

# step1: Recognize
python funclip/videoclipper.py --stage 1 \
                       --file examples/2022云栖大会_片段.mp4 \
                       --output_dir ./output
# now you can find recognition results and entire SRT file in ./output/
# step2: Clip
python funclip/videoclipper.py --stage 2 \
                       --file examples/2022云栖大会_片段.mp4 \
                       --output_dir ./output \
                       --dest_text '我们把它跟乡村振兴去结合起来,利用我们的设计的能力' \
                       --start_ost 0 \
                       --end_ost 100 \
                       --output_file './output/res.mp4'

相关网址

总结

FunClip作为阿里巴巴出品的开源AI视频剪辑工具,以其强大的自动化语音识别、热词定制化、说话人识别和多段剪辑功能,为用户提供了一个高效、智能的视频编辑解决方案。它的开源性质和用户友好的设计,使得视频剪辑变得更加简便快捷,无论是专业视频编辑还是普通用户,都能从中受益。

FunClip AI视频剪辑 视频剪辑工具

本文由@战地网 原创发布。

该文章观点仅代表作者本人,不代表本站立场。本站不承担相关法律责任。

如若转载,请注明出处:https://www.zhanid.com/dnzs/1506.html

THE END
战地网
频繁记录吧,生活的本意是开心