大家好,这里是和你们聊设计的花生~
之前和大家聊过不少 AI 图像生成工具,有的可以根据文本生成图像,有的则是将 AI 技术运用到图像处理中,让扣除背景、消除画面元素成为非常轻松快速的事情,大大提升了设计师的工作效率。既然 AI 技术在图片处理的应用上如此成熟,那如果用到视频的剪辑制作上会有什么效果呢?
借助 AI 技术的快速消除图像内容
比如在视频里实现一键抠图,将人物从背景中分离出来,进行背景更换或者插入文字图层:
或者在视频里实现快速修图,用画笔一抹,就能去除视频中不需要的部分:
甚至在视频里也用上 Ai 生成性技术,输入一段话,就能将原来的物体变成另一个新的物体:
其实这些 AI 技术在视频制作中应用的并非想象,也不是特效,而是真的有公司将其变为了现实。下面就是“一键去除画面元素”技术在视频制作中的实现过程:
在线视频制作工具 Runway 的操作界面
这些神奇的视频处理功能都是一家名为 Runway 的公司开发的。Runway 是国外一家在线视频剪辑制作网站,成立于 2018 年。它有非常完善的在线视频处理技术,更重要的是公司团队一直在积极地将生成性 AI 技术应用到视频内容制作中,致力于降低视频创作的门槛,帮助人们轻松制作出内容强大且富有创意的视频内容。
Runway 官网展示的 30 多个 AI 魔法工具
Runway 目前已经开发了 30 多个 AI 魔法工具,其中一部分是将 AI 图像生成技术内置。比如我们熟悉的根据文本生成图像、根据图像生成风格化变体、图像延展外绘、根据文本生成 3D 贴图纹理、视频局部无损放大等技术,在 Runway 内都可以实现。
Runway 内置的图像无限外延功能
另一部分则是令人惊喜的视频处理魔法,除了我们前面提到的 3 种功能,Runway 还开发了包括动态追踪,智能调色、智能慢镜头、平滑插帧及一键模糊人脸等功能。
“动态追踪”即通过 AI 技术识别视频中物体的运动轨迹,然后为其附上文字或者其他元素,这些元素会自动跟随物体一起运动,不用手动设置轨迹。
“智能调色”功能利用 AI 技术自动分析画面的色彩等级,然后依据文本描述的内容对视频相应的色调调整,处理速度很快,上色效果也非常和谐。
除了视频处理工具,Runway 也将 AI 技术与音频处理结合起来,开发出了自动生成文字稿、一键去除空白音频及智能去除背景杂音等工具。Runway 的研究团队目前还在开发一种名为 Soundify 的音效系统,该系统利用 AI 技术先识别视频内容,然后为之生成准确高质量的音频,且自动对齐音频与视频的进度,以解决传统视频制作过程中寻找合适音频困难、精准对齐音频与视频耗时的问题。
Runway 的野心当然不止于此。有了图像、视频与音频等一系列 AI 工具作为基础,Runway 还推出了 &34;文本生成视频 &34;技术并发布了一段演示视频。
从视频中可以看出,Runway 的 &34;文本生成视频 &34;技术包括:通过输入文本指令实现导入视频素材、调色及消除视频中的选中对象;通过文本生成各种图像;通过文本描述添加文字及动效、扣取人物及替换背景等。我们也可以看出视频当中的很多功能都是我们前面介绍过的。
目前 &34;文本生成视频 &34;技术还没有公开,想体验的小伙伴可以申请加入等待名单: https://runwayml.com/text-to-video/
当然了,这么好的工具肯定不是免费的。新用户注册 runway 后可以享受 3 次免费的视频制作额度,但 30 多项 AI 工具只能使用其中 3 个,并且只能导出 720P 的视频文件。对国内用户来说需要搭梯子才能只用,并且最好使用 Chrome 或 Edge 浏览器打开,不然容易崩溃。所以目前只能期待国内的视频制作软件可以努努力,早日推出与 runway 类似的功能。
此外 Runway 还举办了首届 AI 电影节,号召全球艺术家使用最新的 AI 技术制作 1-10 分钟的创意影片,优胜者将获得最高 10000 美元的奖励。目前电影节正处于接受投稿的阶段,最终获奖结果会在 2 月份公布,到时候再和大家一起看看有哪些有意思的作品。
Runway 的 AI 电影节官网公布的 AI 影片片段
以上就是为今天和大家分享的有关 AI 技术在视频制作中应用,大家对此有什么看法和期待呢?欢迎在评论区分享。喜欢本期推荐的话记得点赞收藏,也可以转发给身边有需要朋友 。如果你有关于本文或者设计的疑问,可以在评论区提出,我会第一时间为大家解答 ~