近日,黑森林实验室发布了全新的FLUX.1Tools工具包,该工具包旨在增强其基础文生图模型FLUX.1的控制性和可操控性,使用户能够精确地修改和再创作真实图片和生成图片。
模型:https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev
详细介绍:https://blackforestlabs.ai/flux-1-tools/
FLUX.1Tools包含四个主要功能:
FLUX.1Fill:这是一个先进的图像修复和扩展工具,功能超越了Ideogram2.0和开源的AlimamaCreative’s FLUX-Controlnet-Inpainting等现有工具。 FLUX.1Fill可以根据用户提供的文字描述和二进制掩码对真实图片和生成图片进行编辑和扩展,并能将修改内容无缝地融入到图像中,实现自然流畅的效果。
经测试,FLUX.1Fill [pro] 的性能优于所有其他竞品,成为目前最先进的图像修复模型。开源版本FLUX.1Fill [dev] 的性能也超越了其他专有解决方案,而且推理效率更高。
FLUX.1Depth和FLUX.1Canny:这两个工具都利用图像的结构信息来引导图像生成,从而在修改图像纹理时保持其原始结构。
其中,FLUX.1Depth利用图像的深度信息进行修改,而FLUX.1Canny则利用边缘检测信息进行引导,更适合进行精确的细节调整。
评估结果显示,FLUX.1Depth的性能优于Midjourney ReTexture等专有模型,其中FLUX.1Depth [pro] 提供了更高的输出多样性,而FLUX.1Depth [dev] 在深度感知任务中提供了更一致的结果。 对于边缘检测模型,FLUX.1Canny [pro] 的性能最佳,其次是FLUX.1Canny [dev]。
FLUX.1Redux:这是一个适用于所有FLUX.1基础模型的适配器,用于生成图像变体。 给定一张输入图像,FLUX.1Redux可以对其进行细微的变化,生成不同的版本,甚至可以根据用户提供的文字描述重新设计图片风格。
此外,FLUX.1Redux还支持通过API进行图像风格调整,用户只需提供一张图像和一段文字描述即可。 这项功能已集成到最新的FLUX1.1[pro] Ultra模型中,该模型可以将输入图像和文字提示结合起来,创建高质量的400万像素输出,并支持灵活的长宽比。 测试结果表明,FLUX.1Redux在图像变体生成方面取得了最先进的性能。
FLUX.1Tools 提供开源版本和API版本
FLUX.1Tools以两种版本提供:开源版本(FLUX.1[dev])和API版本(FLUX.1[pro])。 每个工具的API版本都作为FLUX.1[pro] 变体发布,而开源版本则作为指导性蒸馏的FLUX.1[dev] 变体发布,并提供推理代码和权重。 此外,黑森林实验室还宣布,其发布的模型将通过其合作伙伴fal.ai、Replicate、Together.ai、Freepik和krea.ai提供。
黑森林实验室表示,此次发布的FLUX.1Tools工具包将为Flux生态系统注入新的活力,他们期待看到社区用户利用这些新工具创造出更多精彩的作品。