FLUX Model

 FLUX는 SD 모델의 변종 모델로, SD3 및 Midjourney 모델과 유사합니다.
권장사항으로는 23GB의 VRAM이 필요합니다.

• VRAM이 부족하면 RAM을 VRAM으로 사용하도록 전환하여 프로세스가 상당히 느려집니다.
• VRAM이 부족하면 1024x1024 이미지를 생성하는 데 20~30분이 걸릴 수 있습니다(2080TI, 11GB vram 기준).

Flux가 게시한 공식 성능 표입니다.

 

[Black Forest Labs - Frontier AI Lab] 에서 개발하였습니다.

FLUX는 세 가지 유형의 모델을 제공합니다.

Pro 모델:
설명 : 최고 수준의 프롬프트 추적, 시각적 품질, 이미지 세부 정보 및 출력 다양성을 갖춘 이미지 생성에서 최첨단 성능을 제공합니다.
License : Enterprise

Dev 모델:
설명 : FLUX.1 [pro]에서 직접 추출한 FLUX.1 [dev]는 동일한 크기의 표준 모델보다 더 효율적이면서도 유사한 품질과 신속한 준수 기능을 달성합니다.
License : Non-commercial

Schnell 모델:
설명 : 로컬 개발 및 개인 사용.
License : Apache 2.0

[DEV Model Test]
부동 소수점(fp) 관련 작업에 필요한 VRAM 메모리 요구 사항은 다음과 같습니다.

• fp32 → 23GB
• fp16 → 11~16GB
• bf16 → 20GB (middle of fp32 and fp16)
• 결론 :
  라이선스 제한이 없는 Schnell 모델을 추천
• 일반적인 Stable Diffusion 모델(예: SD1.5, SDXL)과 비교했을 때
  ControlNet, IPAdapter 등과 같은 미세 조정 기능이 부족합니다.
• 비교적 새로운 모델이기 때문에 지원되는 LORA, 플러그인 및 커뮤니티 리소스가 부족한 편입니다.

 

관련 링크 

허깅페이스 데모 실행 링크 (huggingface)

https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev

 

FLUX.1 [dev] - a Hugging Face Space by black-forest-labs

FLUX 라이센스 관련 이슈 토론 (reddit)

https://www.reddit.com/r/StableDiffusion/comments/1eilcbw/flux_dev_license/

워크플로

FLUX에 없는 컨트롤넷의 기능을
SD 1.5, SDXL로 결합한 워크플로

https://zablit.gumroad.com/l/njxfcb

Pose2Flux ComfyUI Workflow