[AI] Stable-Diffusion ComfyUI에서 SDXL-Turbo 모델 사용하기

SDXL Turbo workflow.json

0.01MB

Stable-Diffuion의 대표적인 UI로는 AUTOMATIC1111과 ComfyUI가 있다.

현재(12월 8일) 기준 AUTOMATIC1111에서 SDXL-Turbo 모델은 공식적으로 지원하지 않고 있기 때문에, 본 포스트에서는 ComfyUI에서 SDXL-Turbo를 사용하는 방법을 다루겠다.

AUTOMATIC1111에서 SDXL-Turbo 모델은 여러 설정값을 통해 사용할 수 있으나, 성능이 그다지 좋지 않은 것 같다.
GTX 3060 기준으로 512x512 이미지를 생성하는데 15초 정도가 걸린다.
ComfyUI는 1초면 생성이 가능해서 거의 실시간 이미지 생성이 가능하다.

---

1. ComfyUI 설치하기  (참고 사이트)

1.  https://github.com/comfyanonymous/ComfyUI#windows 들어가기
2. Direct link to download 클릭하여 파일 다운
   

   

3. 원하는 곳에 압축풀기

---

2. ComfyUI 실행

1.  Nvidia 그래픽카드가 있으면 run_nvidia_gpu.bat 실행, 없으면 run_cpu.bat 실행(처음 실행은 좀 기다려야한다.)
2. SDXL-Turbo에 맞는 워크플로우를 설정해준다.(SDXL turbo workflow.json 파일 첨부)
   - 우측에 Load 버튼을 눌러 json 파일을 첨부
   

---

3. model 설정

* 이미 AUTOMITIC1111에서 모델을 사용중이라면 해당 모델을 그대로 사용하기
  - ComfyUI_windows_portable\ComfyUI\extra_model_paths.yaml.example 파일을 편집한다.
  - base_path만stable-diffusion-webui경로에 맞게 넣어주면 된다.

* 위 방법이 적용되지 않을 경우
- ComfyUI_windows_portable\ComfyUI\models\checkpoints 폴더에 모델 파일을 넣어준다.

* sdxl-turbo모델이 없는 경우 다운로드
 - https://huggingface.co/stabilityai/sdxl-turbo/tree/main에서 sdxl_turbo_1.0_fp16.safetensor를 다운로드
- ComfyUI_windows_portable\ComfyUI\models\checkpoints 폴더에 모델 파일을 넣어준다.

---

4. Prompt 설정

   - 위 Prompt 노드에는 positive prompt를, 아래 Prompt 노드에는 negative prompt를 적어준다. 우측에 SamplerCustom노드의 positive와 negative가 각각 연결되어있는걸 확인해볼 수 있다.

---

5. Queue Prompt 버튼을 눌러 실행

– 가장 처음은 꽤나 오래걸린다.(1분 이상 기다려야함)

 realtime-prompt 방법

 Queue Prompt버튼 바로 아래 Extra options를 체크하고, Auto Queue에 체크해준다.   
그리고 다시 Queue Prompt버튼을 누르면 무한재생 된다.
GPU 성능에 따라 다르겠지만 GTX 3060에서는 1초마다 이미지가 생성되어서 거의 실시간 느낌을 받을 수 있었다.

realtime prompt 설정

---

Public link 생성하는 방법

   1) run_nvidia_gpu.bat파일 편집 : --listen 추가(public link로 만들어지는 argument)

.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build --listen
pause

   2) 실행 후, 같은 네트워크에서 cmd에서 ipconfig로 확인한 해당 IP주소를 통해 접속하면 다른 기기에서도 접속이 가능하다.  ex) 192.168.11.72:8188

cmd에서 ip 확인