animatediff的入门使用需求可以去找其他UP主的视频,无论是comfy UI还是WEB ui都有浩如烟海的学习指南,我再出这种没有意义。

但是我还是要强调,无论是comfy ui 还是WEB ui ,你最好都跑到插件作者主页,github主页上去看看人家写的说明书,基于animatediff技术插件的实现效果是不一样的,要去啃一下人家说的什么,不懂的扔给搜索引擎和人工智能问问。

我这里只介绍我学习的结论和破除一些认知误区。

1.不要迷信comfy平台,webui下animatediff效果更好。

comfy UI下的所有aniamtediff插件,文字生成视频领域,对生成人类特别是真人连贯现实动作效果很差,无论怎么调整都是烂成一坨,一致性、连贯性都差;我个人认为投入精力到这个平台的animatediff项目纯属浪费时间,要是你有不同意见,麻烦给个效果好的AI生成真人范例来说服我。

但是做做什么什么的一生那种倒是挺有用的,也比webui下的高效。

2.不要迷信大神,权威也有犯错的时候,要自己下手去做动脑子去想问题,文生图,生成视频,不要用高清放大,不要把每秒帧率调那么高。

高清放大问题:有些大神说缺乏高清放大之类的听了我都想笑,stablediffusion的高清放大只在每一帧画面上下功夫,会增加每一帧画面的变化,变化多了怎么可能连贯,一致性怎么可能好?人眼的感受是很敏锐的,越是高清放大,你看到的晃动越多,只基于画面本身下功夫,有什么用?

即便是用adetail这种效果很好的去修复,也只是按顺序对输出画面进行后期处理,UNet中不会有运动模块,修复的面部可能没有时间一致性,有时候看到面部也是抖动的变化的。

这样画面一致性就会很差,观感就会很差。

每秒帧率问题:还是不知道哪位大神说的帧率推荐为每秒16帧,我测试过了,效果不好,画面一致性差,观感差变化太多,animatediff的训练视频大多是16,直接出16帧,对stablediffusion来说太为难了,我推荐是8帧甚至6帧都可以,画面卡就卡啊,只要一致性好,动作连贯,卡点没什么,王家卫也经常抽帧啊。

3.提升写提示词功力,提升提示词设计功力,懂得设计人物动作,懂得配合软件进行设计。

如何使用AI制作精美的动图或者短视频(animatediff进阶)Webui下的继续革命大神编写的animatediff插件集成了提示词travel功能,也就是能够以特定语法生成某一帧的画面。

语法:帧序号:提示词

范例:

0(eyes closed,platinum blonde fluffy_hair),

8: (looking at viewer:1.3,light smile,),

这个写法的意思就是

第0帧(画面从第0帧开始),眼睛闭上,人物拥有白金色蓬松的头发,

第八帧 人物看着镜头,微笑

那这两句设计了什么动作呢,很简单,头发飘飘的女孩睁开眼看着你。

那能不能写到第一帧,写得很直白,头发飘飘的女孩缓缓睁开眼看着镜头 呢

0:The girl with flowing hair is opening her eyes slowly and looking at the camera

当然是不推荐这么写,为什么?因为人工智能还没有那么智能,加上一秒帧率也比较低,你把整个动作都写给人工智能,它可不太会把一些动作按照合理的情况串联起来,然后画面就跑飞了,诡异了,所以尽量拆解动作,以指导弱智人士的态度去写每一帧要达到的画面会比较好。

反过来,如果你就是要诡异,那也无妨。

4.网上有很多东西可以开箱即用,但是想出好看的,高水平的,绝对不是看看基础教程就能学会的,要自己想想怎么做,工具优劣势在哪里,多动脑子多解决问题。

最后为什么我的文生图视频看着有点意思,因为我下了功夫去想去看去试,没什么了不起的,下了功夫懂了脑子而已,参数调对了,提示词懂怎么写了,就这样。

我这里给出我摸索的一些最佳设置:

1.帧率设置为一秒6-8帧,16是训练数据的帧率,不适合设置为16,帧数量随意。

2.上下文单批数量,如果你的webui版本在2023-12-06的1.7版本或者以下版本,animatediff版本在v2.0.0-a 以下,用默认设置为16就可以了,调高了画面变动太少,调低了画面变化太剧烈,如果都是最新版,建议用17或者18,用16变化会很剧烈。

3.闭环这个设置,如果选择了A,画面就会是一个循环动作画面,最后一帧会和第一帧互相关联起来。我一般选择这个激活这个A。

N表示绝对没有闭环

R-P意味着扩展将试图减少闭环上下文的数量。提示词travel不会被插值为闭环。

R+P意味着扩展将试图减少闭环上下文的数量。提示词travel将被插值为一个闭环。

4.步幅、重叠、显示循环次数都用默认数值就可以了。

帧插值要打开用film,插值次数 X设置为5,但是要用这个功能,需要把Deforum 扩展装上,就是sd-webui-deforum这个插件。

5.最新的功能,FreeInit  开启 可以 提高视频的时间一致性,就是说画面比较连贯稳定,如果你观察到画面变化太剧烈,那把Filter Type改为高斯就可以了,FreeInit Iterations 不建议用默认设置3,设置为2比较好,但是这个会增加耗时。d_s和d_t建议设置为0.125。

有意见请留言,有空我就回答。