FLUX Model 심층 탐구 , GGUF 및 ControlNet

FLUX로 생성한 이미지

Prompt : Astronaut in a jungle, cold color palette, muted colors, very detailed, sharp focus.

바로 이전에 작성한 글

2024.08.19 - [AI Image] - FLUX Model

FLUX Model

--- 

현재기준
FLUX를 실행 하지못하는 프로그램 : Auto1111 
FLUX를 실행 가능한 프로그램 : ComfyUI , Forge

해당 세가지 프로그램들을 통합환경에서 모두 설치할 수 있는 프로그램이 있습니다. [Stability Matrix]
---
저는 Stability Matrix - ComfyUI 를 이용하여 FLUX를 테스트했습니다.
---

먼저 Flux는 VRAM을 굉장히 많이 잡아먹습니다. 부족한 VRAM 용량을 RAM을 이용해서 실행이 되게끔 해주는데
VRAM과 RAM의 속도차이는 정말 정말 큽니다. 따라서 이미지 한장을 생성하는데 오래걸립니다.

- RTX 2080TI (VRAM 11GB) 기준 1024*1024 이미지 한장에 약 50분이 소요됨.

따라서 RTX4090급 (VRAM 24GB) 의 그래픽카드가 아니라면 속도가 느려집니다.
- 해당그래픽카드로는 이미지 한장에 약 1분이 소요됨

 

사람들은 이를 보완하기 위해
부동소수점을 조정해보기도 하고 (fp32 -> fp16 -> fp8)

NF4 양자화 , GGUF 등 여러가지 방법으로 생성속도를 빠르게하는것에 매달렸습니다.

현재는 GGUF를 이용한 방법이 제일 빠른것으로 보입니다.
(NF4 페이지에서도 GGUF를 추천함)

- NF4
https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4

GitHub - comfyanonymous/ComfyUI_bitsandbytes_NF4

 

 

- GGUF
https://github.com/city96/ComfyUI-GGUF

GitHub - city96/ComfyUI-GGUF: GGUF Quantization support for native ComfyUI models

GGUF를 사용하면
2080TI 기준 1시간이걸리던 작업이 1분으로 줄어듭니다. 약 60배 빠르기.

해당 블로그에는 GGUF 를 사용하는 방법에 대해 한국어로 자세히 나와있습니다.
https://fornewchallenge.tistory.com/entry/%F0%9F%9A%80FLUX-GGUF%EB%A1%9C-%EA%B3%A0%ED%92%88%EC%A7%88-AI-%EC%9D%B4%EB%AF%B8%EC%A7%80%EB%A5%BC-%EB%B9%A0%EB%A5%B4%EA%B2%8C-%EC%83%9D%EC%84%B1-ComfyUI-%EA%B0%80%EC%9D%B4%EB%93%9C

🚀FLUX GGUF로 고품질 AI 이미지를 빠르게 생성: ComfyUI 가이드

---

또는
나는 PC에 설치하기 귀찮다.
그냥 클라우드에서 마우스 클릭 한번으로 테스트해보고 싶다. 하는분은

https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev

FLUX.1 [dev] - a Hugging Face Space by black-forest-labs

해당 링크에서 테스트를 하시면 됩니다.
예제로 주어져있는 Examples 를 클릭하셔도 되고, 본인이 직접 프롬프트를 입력하고 Run 버튼을 누르시면 됩니다.


---

ControlNet

 

FLUX는 아직 자체 컨트롤넷 모델을 지원하지 않습니다. 현재까지 컨트롤넷은 SD1.5와 SDXL을 기반으로 구축되었으므로 플럭스의 컨트롤넷은 완전히 새로운 컨트롤넷이거나 다른 아키텍처로 재작성된 컨트롤넷이 될 것입니다.

 

FLUX 제작사인 BlackForestLab에서 공개하진않았지만,
XLabs라는 곳에서 FLUX관련 ControlNet을 지속적으로 업데이트하고있습니다.
해당 페이지에서 모델도 받을수있고, 예제 워크플로도 받을 수 있습니다.
https://huggingface.co/XLabs-AI/flux-controlnet-depth-v3/tree/main
https://huggingface.co/XLabs-AI/flux-controlnet-canny-v3/tree/main

XLabs-AI/flux-controlnet-depth-v3 at main

 

XLabs-AI/flux-controlnet-canny-v3 at main