庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总

插件(extensions)及拓展脚本(scripts)

SD-webUI为保持代码整洁和便于管理,逐步将非核心功能解耦并转为插件和拓展脚本形式提供.

下载安装及使用方法

把你想用的拓展/脚本从对应的GitHub仓库中下载下来放到webui路径下的scripts(webui启动时会从中加载脚本)或者extensions(webui启动时会从中加载插件)文件夹下,然后重启下webUI程序就可以开始使用.

插件

11.12 更新 近期webUI更新后 现在可以在extension选项卡下直接输入你要安装的脚本的URL(下面介绍每个插件时会给出相应的仓库链接) 然后点击安装按钮即可自动帮你去完成上面下载安装及使用方法 段落中的手动下载安装流程

图片[1]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)
从URL安装
图片[2]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)
检查已安装插件

Dreambooth

dreambooth自训练现在可以在webUI里完成(作者就是曾经提交pr想要将dreambooth merge到webui主体里的那个大佬,随着webui规模不断庞大,原来的pr合并到主仓库变得不怎么现实,所以作者经过一段时间开发和完善 转而以extension形式提供dreambooth自训练的功能 )

插件地址: GitHub – d8ahazard/sd_dreambooth_extension

还是不推荐使用Dreambooth插件 插件所需好多依赖与webui本身有很多冲突 很容易崩 !!!

还是推荐基于diffuser库封装的方式 具体教程见下

图片[4]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)

aesthetic-gradients(根据美学权重优化图片)

插件项目地址

图片[5]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)

images-browser(历史记录画廊、原来是webui自带的)

插件项目地址

Deforum(输入:文本/图像/视频 生成 2D/3D动画)

插件项目地址

动图封面

aesthetic-image-scorer(美学评分器)

插件项目地址

图片[7]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)

拓展脚本 scripts

使用:在txt2img 或 img2img 下底部选项里可找到脚本设置的位置

图片[8]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)

所有脚本文件位置在webui下的scripts文件夹下

图片[9]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)

自身内置

loopback(回环迭代)

连续多次图生图 每次的输出是下一次的输入 可用于草图迭代和修掉画面中不需要的东西

动图封面

动图封面

outpainting(外绘)

Outpainting用于扩展原始图像,并对创造的空隙进行了绘画。

图片[12]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)

X/Y plot & Prompt matrix
prompt matrix和x/y plot多用于演示,都是生成一个有好几张图组成的多格图、当你想要对比一个或多个词(艺术风格、人物细节描述等等)对最后图片的影响(prompt matrix的使用场景)亦或是一个或多个参数的不同值下(不同扩散次数、不同cfg值等等)生成的不同图片对比结果(x/y plot的使用场景)

图片[13]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)

需自行下载

SD Chad(美学评分器脚本版)

以上罗列了几个自己常用的或感兴趣的拓展和脚本,如需了解更多、可见官方汇总列表
webui官方插件汇总列表链接:
github.com/AUTOMATIC111
webui官方拓展脚本汇总列表链接:
github.com/AUTOMATIC111


文章下部分是对stable-diffusion-webui的相关核心和可选依赖的汇总分析,一来是便于小伙伴们在上手webui时遇到报错时更容易定位报错的原因、二是可以更加深入webUI的内部各部分组成及作用

核心依赖(2023.1.25更新)

(部署教程中先git clone下来然后自己 pip安装本体及他们的那些相关依赖)

2023.1.25更新 现在的结构 sd (midas是深度模型使用所需的)

图片[14]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)

几个月前旧版本的结构

图片[15]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)
  • stable-diffusion(sd本体、webUI就是封装了个UI(当然还集成了一众优秀的功能)让我们能通过可视化界面而不是通过命令行参数使用SD绘画创作)
  • BLIP (interrogate CLIP的依赖 负责img2img中描述input图像内容并输入至prompt框)
  • taming-transformers (stablediffusion的高分辨率图像的生成)
  • k-diffusion(为SD提供samplers(采样器)SDE(随机微分方程)和ODE(常微分方程))
  • midas(负责为sd 深度模型提供支持)

sd工作原理图 (详情可去下面文章阅读)

图片[17]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)
  • webui流程图
图片[18]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)

可选依赖全介绍及手动安装教程

(可以不装这些运行webui,直到你用到的时候再装,不过强烈建议装完省事)

  • repositories路径下
  • CodeFormer(程序部分)
    • git clone下来然后自己 pip安装本体及他们的相关依赖
    • 额外下载detection_Resnet50_Final.pth parsing_parsenet.pth两个预训练模型参数权重文件
图片[19]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)
  • models路径下 (2023.1.25更新 ) 该路径下基本是各依赖用来存放读取各自所需的预训练模型文件
图片[20]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)
  • CodeFormer(pth权重文件)(图片&脸部修复)
    • 下载pth到对应文件夹下
  • torch_deepdanbooru(现在deepdanbooru的模型读取路径)
    • 把pt权重文件下到该路径即可
  • deepbooru( 老黄历现在不需要了 只需准备上面torch_deepdanbooru的权重文件 deepbooru 分析图片的tag&自训练前对数据集的文本分析)
图片[21]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)
  • ESRGAN(图片修复)
    • 下载pth到对应文件夹下
  • GFPGAN(用于三次元脸部修复的GAN)
    • 下载pth到对应文件夹下
  • LDSR(用LDM来提升分辨率)
    • 下载pth到对应文件夹下并改名为model.ckpt
  • SwinIR(另一种提升分辨率的模型)
    • 下载pth到对应文件夹下
  • mmdet (yolo实现的自动生成蒙版的插件的依赖存放路径)
图片[22]-庖丁解牛 Stable-diffusion-webui 插件拓展及依赖汇总 - 如意工业网(Rueee.com)-如意工业网(Rueee.com)
  • VAE(见下面的文章)
  • lora hypernetwork文件夹 存放lora和hypernetwork的模型文件

参考

github.com/AUTOMATIC111

Roaming_info_for_latent_diffusion – 水铝英石

持续更新中

changlog

2023.1.25 更新现版本 各目录结构 及解释 所有所需权重文件已打包上传百度云方便大家使用

2023.1.12 stablediffusion模型探索食用指南

11.11 万众期待的dreambooth自训练现在可以在webUI里完成

拓展GitHub地址: github.com/d8ahazard/sd

todo

depth2mask 插件教程

yolo自动做mask 插件教程

stylepile 插件教程

编辑于 2023-03-04 23:18・IP 属地上海
Stable Diffusion

写下你的评论…
 
39 条评论
默认
最新
Ethkyok
感谢大佬
2022-11-14 · IP 属地上海
酒间花前老

tql给大佬打call[赞同][赞同]

2022-11-12 · IP 属地广东
奥巴马克思

哥们你这流程图太糊了,完全看不清内容

03-06 · IP 属地浙江
隔壁地里的土豆

链接是知乎的图床,安全的很

03-06 · IP 属地山东
隔壁地里的土豆
03-06 · IP 属地山东
Date

训练的时间很长怎么正确的优化训练时间

03-01 · IP 属地上海
王先森

webui流程图那里能讲下插件流程吗

02-28 · IP 属地浙江
柳云枫

请问 所有所需权重文件 这个 目录 下载之后,直接覆盖我本地的同名目录吗?

02-13 · IP 属地广东
SeASnAkE

作者

你可以看缺啥 就下啥[调皮]

02-13 · IP 属地上海
春风无忌
想请教下评论区的大佬们,stable diffusion的模型有没有什么网站可以获取。
2022-11-22 · IP 属地河北
SeASnAkE

作者

2022-11-22 · IP 属地浙江
SeASnAkE

作者

huggingface官网上就有[飙泪笑] 直接搜就行
2022-11-22 · IP 属地浙江
王先森

我如果想自己做个个性化的UI,不用WEBUI(比如只挑选目前webui的部分功能来展示,并且汉化),这样做是否需要去读懂SD的源代码?还是有现成的API可以参考?

2022-11-20 · IP 属地上海
Date

我也在弄,请问你现在还在做这块嘛

© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享
相关推荐
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容