Stable Diffusion : ComfyUI 설치 및 실습

https://github.com/comfyanonymous/ComfyUI

GitHub - comfyanonymous/ComfyUI: The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface

 

여기 접속 후 releases 들어가서 windows_portable 다운로드. 그 후 확장성을 위해 ComfyUI manager까지 설치한다.

https://github.com/ltdrdata/ComfyUI-Manager

GitHub - ltdrdata/ComfyUI-Manager: ComfyUI-Manager is an extension designed to enhance the usability of ComfyUI. It offers manag

 

해당 프로젝트를 ComfyUI\custom_nodes 안에 git clone으로 가져온다.

그 후 ComfyUI\run_nvidia_gpu.bat를 실행하면 별다른 설정없이 바로 실행후 UI창이 나온다.

그 후 원래 AI에서 하듯이 모델과 체크포인트파일을 경로에 넣어준 후 추가해주면 된다.
(ComfyUI\models\vae 모델경로, ComfyUI\models\checkpoints 체크포인트 경로)

이후 빈곳을 더블클릭하여 해당 파일들을 하나의 노드로 추가하여 구성한다.

같은 색끼리 이어서 연결해준다.

이미지 점(?)을 끌어서 허공에 놓으면 새로운 추천노드를 추가할 수 있다.

saveimage는 생성한 이미지를 바로 저장해주고, previewimage는 보여주기만한다.

그 이후 프롬프트를 입력 후 큐 버튼을 눌러주면 이미지 생성후 저장한다.(ComfyUI_windows_portable\ComfyUI\output)

큐버튼 : 세팅된 값으로 이미지를 생성한다.

프롬프트 노드 : 생성하고자 하는 이미지와 관련된 키워드로 프롬프트작성(프롬프트 작성법이 따로 있다), positive와 nagative프롬프트가 있는데 positive 프롬프트는 생성하고자 하는 이미지의 키워드를 넣고 nagative는 생성하고자 하는 이미지에서 빼고싶은 키워드를 넣는다.

latent_image : 생성하고자 하는 이미지의 가로세로, 개수의 정보를 넣는다

checkpoint 파일과 vae파일은 1개씩만 로드할 수 있고 그 안에 수많은 노드를 추가하고 커스텀하느냐에 따라 생성되는 이미지의 퀄리티가 천차만별로 나온다.

https://civitai.com/

Civitai: The Home of Open-Source Generative AI

Civitai 사이트에서 다양한 checkpoint파일과 vae파일을 검색해서 커스텀할 수 있다.

다운로드해서 json파일을 받아서 웹페이지에 드래그하면 해당되는 노드세팅이 바로 나온다.

없는 노드들은 빨간색으로 나온다. 이때 손쉽게 노드를 다운받게 해주는게 Manager의 역할이다.

가운데 탭의 두번째 Install Missing Custom Nodes누르면 다운로드 된다.

체크 후 Install 버튼 클릭

Restart버튼 클릭

완성된 로드

이후 새로운 노드세팅 및 이미지 생성하다가 필요한 파일들은 다운로드하여 지정된 경로에 채워주기만 하면 된다.

동영상을 생성하기 위해선 animatediffMotion 모델파일이 필요한데 해당파일은 ComfyUI\models\animatediff_models에 넣는다.

============================================================================================

ComfyUI 결과물들