Black Forest Labs 是由 Stable Diffusion 原班人马成立的公司,致力于开发高质量的多模态模型并开源。该公司由多位前组成 Stability AI 研究人员组成包括 Robin Rombach 团队成员,他们在图像和视频制作领域做出了突出贡献,包括 VQGAN、Latent Diffusion 以及 Stable Diffusion 模型等 。
2024年8月1日#xff0c;也就是前天Black Forest Labs 推出了名为 FLUX.1 的开源 AI 图像生成模型系列包括三个变体:FLUX.1 [pro]、FLUX.1 [dev] 和 FLUX.1 [schnell]。这些模型在视觉质量、提示词遵循能力、尺寸/宽度比可变性、排版和输出多样性等方面,超越了当前市场上的许多流行模型,如 Midjourney v6.0、DALL·E 3 (HD) 和 Stable Diffusion 3-Ultra 3。
(当然,有许多模型声称超越了Midjourney的每个版本,每个人都知道实际效果,这次实际效果如何?以后我们来测试一下)
FLUX.1 模型采用多模态架构和并行扩散 Transformer 结构,传统的扩散模型通过流匹配改进c;引入旋转位置嵌入技术和并行注意力层,增强模型识别图像中不同位置特征和捕捉长距离依赖关系的能力 。
另外,Black Forest Labs 已经完成了 3100 #xff08000000美元;约合人民币 2.25 1亿元)种子轮融资,并将发布预告。 SOTA 视频模型。,该公司在视频制作领域具有巨大的潜力,它可能成为该领域的一匹黑马。
假如FLUX.如果质量真的好的话,所以SOTA视频模型也很值得期待。
大模型每个人都喜欢跑得分我们简单看看官方给出的跑分和效果图:
从跑分上看,FLUX.与前段时间Stability发布的SD3-Midium相比,Stability强了一半,其实仔细看看从900到1060,这个跑分左侧的值c;因此,如果sd3-midium是990分,Flux.1的三个版本大约是1020~1055,所以强30分~65分,貌似...还好。
不得不说这些评估机构理解心理暗示。
让我想起SD3发布时发布的精彩评价角度:
所以,啥是ELO Score?稍微查一下信息:
物理学家阿帕德·埃洛的ELO评分系统;Arpad Elo)创建c;最初用于评估国际象棋选手的相对实力。ELO系统基于数学模型,各自的分数通过选手之间的比赛结果进行调整c;从而反映出他们的实力水平。后来,ELO评分系统也被广泛应用于其他竞技领域,如围棋、足球、电子竞技、大模型评价等。
计算 Elo Score 这个过程涉及到每个游戏的结果和参与游戏的模型的当前评分。胜利会导致分数提高,失败会导致分数下降。评分的变化取决于对手的相对水平,即对手得分越高,胜利带来的分数越来越多,反之亦然。这种评估方法不仅考虑任务的结果,还考虑了对手的实力,使模型之间的相对性能更具可解释性和比较性。
如果简单理解:这是一个相对分数,所以简单看看就好。。
看官方样图:
这张图有点厉害,还没见过其他模型...但是我们以后再测试一下。
第一,网盘下载地址:点击下载。
当你打开它时,你会看到这些文件:
下载到本地后模型的位置如下:
1、T5xxl_fp8_e4m3fn.safetensors、t5xxl_fp16.safetensors和clip_l.safetensors放在models\clip文件夹:
2、将flux1-dev.sft和flux1-schnell.两个FLUX1模型的sft本体放在modelsunet文件夹,可以新建二级目录,我在unet下FLUX1目录,通过这种方式,unet目录下的模型更容易区分, (也可以直接放在unet文件夹下);
3、将ae.将sft放在models/vae目录中;
配置完成后,下载文件中的两张图片是两个工作流,分别用于测试fluxx.dev和flux.schnell,将原图拖到comfyui中查看,大家自己测试就好。
注:
1、在使用过程中,如果您的内存(注意内存,不是显存)如果不到32G,t5xl_fp8_e4m3fn.safetensors,但如果你的内存超过32G,建议使用t5xxl_fp166.safetensors,效果会更好;
2、如果提示内存不足可以在“Load Diffusion Model在weight_dtype中选择fp8,可减少一半内存使用量,但是相应的,生产质量会下降,#xff1b;
comfyui作者原文:
If you don’t have t5xxl_fp16.safetensors or clip_l.safetensors already in your ComfyUI/models/clip/ directory you can find them on: this link. You can use t5xxl_fp8_e4m3fn.safetensors instead for lower memory usage but the fp16 one is recommended if you have more than 32GB ram.。
The VAE can be found here and should go in your ComfyUI/models/vae/ folder.。
The VAE can be found here and should go in your ComfyUI/models/vae/ folder.。
Tips if you are running out of memory:。
🧸参考生成速度。
首先,生成速度,flux_dev模型默认生成20步参数,4090显卡,机器上的64G内存,1024x1024图像大约需要30~40秒才能生成b;
🍩产生质量参考。
下一篇文章,让我们比较一下开源版本中最好的搭配:flux1_dev模型+t5xxl_fp16+clip_l+20步,比较midjourney V6,选择几个典型的场景,看看下一个生成效果如何;
✨写在最后。
如果您不熟悉comfyui,最近面向ComfyUI的新手,开设图形课程,现在已经更新了,如果你在学习过程中遇到任何问题,也可以直接在文章下面留言,相关答疑内容将继续更新。欢迎订阅哦~。
https://blog.csdn.net/jumengxiaoketang/category_12683612.html。
。
谢谢大家的支持~。