FLUX-Controlnet-Inpainting,这款基于ControlNet和FLUX.1-dev的图像修复工具,正在重新定义我们对图像修复的认知。
这款工具不仅继承了FLUX.1-dev模型的高质量图像生成能力,更巧妙地融合了ControlNet的优势。它能够根据图像的边缘、线稿、深度图等信息进行精准修复,在指定区域生成与周围环境和谐一致的内容,为受损或缺失的图像部分带来新生。
最近,FLUX的Inpainting ControlNet通过与ComfyUI的集成,实现了突破性的推理功能。这意味着用户现在可以在直观的界面中执行复杂的图像修复任务,享受流畅的工作流程。然而,这种强大的功能也伴随着相应的硬件要求。使用t5xxl-FP16和flux1-dev-fp8模型进行28步推理时,需要约27GB的GPU内存。尽管如此,推理速度仍然令人满意:在cfg=3.5的设置下,仅需27秒;如果将cfg降至1,更可缩短至15秒。
对于追求更快速度的用户,Hyper-FLUX-lora提供了一个绝佳的选择,它能显著提升推理效率。此外,通过微调关键参数如control-strength、control-end-percent和cfg,用户可以进一步优化修复效果。例如,将control-strength设为0.9,control-end-percent设为1.0,cfg设为3.5,往往能达到理想的平衡。
FLUX模型的训练基于庞大的数据集,包括12M laion2B以及其他内部图像源。为获得最佳效果,推荐使用768x768的推理分辨率。控制网的调节比例建议保持在0.9到0.95之间,这样可以在保持控制的同时,给予创作足够的自由度。
值得一提的是,当前版本仅是Alpha测试版。开发团队承诺未来将推出更强大的更新,这无疑让人对FLUX-Controlnet-Inpainting的未来充满期待。随着技术的不断进步,我们有理由相信,图像修复领域将迎来更多令人惊叹的突破。
项目地址:https://github.com/alimama-creative/FLUX-Controlnet-Inpainting