SD3. 5 的前世今生
6 月的时候,Stability AI发布了 Stable Diffusion3Medium,但是在在 FLUX 发布后 SD3 基本沦为弃子,由于各方面都被 FLUX 吊打,加上Stability AI 的霸王条款让 SD3 口碑直线下滑。这次官方吸取了教训,进一步开发了3. 5 版本,并且承诺SD3. 5 即为构建者和创作者提供可广泛访问、尖端且在大多数用例中免费的工具
模型特点
就在几小时前,Stability AI 正式发布了 Stable Diffusion3.5「large」版本。
这次更新有两大显著特点:
① 模型风格多样性提升,用户可通过修改提示词调取更多的图像风格
② 图像生成的 AI 质感降低,在光影和材质上更加自然,使生成的图像更具真实感
这次Stability AI 共发布了两个版本: Large 版本和 Large Turbo 版本
官方声称还有个 Medium 版本将在 10 月 29 号发布
目前两个版本的介绍:
- Stable Diffusion3.5Large:该基本模型具有 80 亿个参数,具有卓越的质量和及时的依从性,是 Stable Diffusion 系列中最强大的。此型号非常适合1MP 分辨率的专业用例。
- Stable Diffusion3.5Large Turbo:Stable Diffusion3.5Large 的精简版本只需 4 个步骤即可生成具有出色快速粘附性的高质量图像,使其比 Stable Diffusion3.5Large 快得多。
下图是官方提供的模型对比,可以看出美学不如 FLUX.1Dev,提示词遵循是目前最好的。
所以我们就测试一下 SD3. 5 的水平到底如何,通过对比 FLUX 看看能否逆风翻盘重回 AI 绘图领域的巅峰
更详细的介绍在官方发布页:https://stability.ai/news/introducing-stable-diffusion-3-5
在线体验
Large 在线体验:https://huggingface.co/spaces/stabilityai/stable-diffusion-3.5-large
Turbo 在线体验:https://huggingface.co/spaces/stabilityai/stable-diffusion-3.5-large-turbo
模型下载
Large 下载:https://huggingface.co/stabilityai/stable-diffusion-3.5-large
Turbo 下载:https://huggingface.co/stabilityai/stable-diffusion-3.5-large-turbo
第一次下载的需要填一份联系信息才能下载
模型使用
我们下载官方提供的示例工作流和模型,模型放在 ComfyUImodelscheckpoints 中
把工作流拖入 ComfyUI 中,如果有缺失节点就安装缺失节点。如果之前有用过SD3 的小伙伴应该是都安装过这些节点的。
我们需要加载三个 Clip 模型,没有的小伙伴可以在这里下载:https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main/text_encoders
下载完放在ComfyUImodelsclip 文件夹中
想追求最好的效果可以把 T5xxl 换成 FP16 版本的
出图效果
SD3. 5 的出图非常占显存即使是409024G 显存也非常容易被跑满,正常跑一张1024* 1024 的图大概要40s