细心的AI绘画爱好者可能发现,SDXL的默认模型不仅体积大,而且有两个。
一个是base,一个是refiner。
(资料图)
根据官方文档,这两个模型的用途不完全一样。
sdxml -:生成1024 x 1024图像的基本文本到图像模型。基本模型使用OpenCLIP-ViT/G和CLIP-ViT/L进行文本编码。
sdxml -:一个图像到图像的模型,用于细化基本模型的潜在输出,可以生成更高保真度的图像。细化模型只使用OpenCLIP-ViT/G模型。
SDXL 的refiner是基于OpenCLIP-ViT/G的具有参数模是目前可用的最强大的开放访问图像模型之一。
base模型在第一阶段创建(有噪声的)结果,然后由专门为最后去噪步骤设计的refiner模型进一步处理(基本模型也可以作为一个模块单独使用)。
简单总结,base是一个“底座”大模型,而refiner可以对base生成的图片进行优化(去噪声)。
当然了,经过我的实测,有时候这个优化是负优化... ...
根据官方文档,SDXL需要base和refiner两个模型联用,才能起到最佳效果。而支持多模型联用的最佳工具,是comfyUI。
使用最为广泛的WebUI(秋叶一键包基于WebUI)只能一次加载一个模型,为了实现同等效果,需要先使用base模型文生图,再使用refiner模型图生图。
操作繁琐。
后来,comfyUI除了WebUI用的插件,实现了在WebUI以插件的形式可以轻松的切换到comfyUI界面。我也做了介绍,但依然存在一个问题:comfyUI的操作习惯和WebUI完全不同,非常不便。
于是,有人做了一个插件,让WebUI可以同时加载两个模型,使用base模型跑图后接着用refiner模型优化,实现和comfyUI几乎一样的效果,操作方式却是完全WebUI化的。
当然了,和comfyUI相比,还是逊色一点,这个插件只能支持多挂载一个模型,不能像comfyUI那样任意挂载N多模型。
从实用的角度来说,SDXL一个模型出图,一个refiner模型优化就足够了。
这个插件的名字,就叫Refiner。
/wcde/sd-webui-refiner
(国内访问GitHub不太稳定,多试几次,一般十分钟内肯定可以)
安装完毕后,首页左下角会有Refiner选项。
使用的时候,点击启用,选中模型和迭代步数就可以了。推荐迭代步数10-20之间。
让我们试一下。
提示词:
portrait of a beautiful anime girl wearing a gothic dress, in a dark and moody atmosphere filled with white mist, indoor dimlight, (black and red ink splash:) embedding:SimplePositiveXLv1
模型使用base,不使用Refiner的情况下。
使用Refiner,迭代步数10。
PS,最近C站放出了修复原生bug的base模型和Refiner模型,从模型名可以看出,我用的是修复后的模型。
和comfyUI相比,缺乏直观的生成过程对比,略有一丝丝缺憾。
但是操作简便,不用修改使用习惯,足以弥补缺憾。
关键词:
超越comfyUI,实现SDXL双模型联用的WebUI插件 细心的AI绘画爱好者可能发现,SDXL的默认模型不仅体积大,而且有两个。
宝能,别了野蛮时代 图 IC曾在资本市场频繁举牌上市公司,姚振华成了外界眼中的“野蛮人”
【中银基金王伟然】展望下半年:关注三大主线 大家好,我是中银基金王伟然,感谢大家的信任和关注,很珍惜能有这个平
今晨贵阳,云山雾绕宛若仙境 8月4日清晨6时许,贵州各地迎来久违的晴天。由于暖湿空气与地表之间的
黑龙江省多条河流汛情严峻,牡丹江市防汛响应一天内再提级 黑龙江省牡丹江市东京城林业局尔站经营所生活区的洪水。截屏图依据《黑
成都:推进算力产业自主可控 大力发展芯片、服务器整机、液冷设备等高端硬件 8月4日,成都市发布《成都市加快大模型创新应用推进人工智能产业高质量
深圳:到2025年全市新能源汽车年产量超200万辆 深圳:到2025年全市新能源汽车年产量超200万辆8月4日消息,深圳市工业