ToonCrafter (동영상 생성 툴)

https://github.com/sdbds/ToonCrafter-for-windows

GitHub - sdbds/ToonCrafter-for-windows

 

기능

시작 이미지와 끝 이미지로 이미지 보간 및 동영상 제작을 해주는 기능이 있다.

위의 링크를 눌러보는게 이해가 빠르다.

 

시작이미지와 끝이미지

 

 

 

그리고 걷는 영상 : 기본값인 10프레임이다.

최대 30프레임까지는 UI에서 늘릴 수 있다.

 

실행 방법

먼저 필자는 윈도우 환경을 사용중이다.

1. 경로 잡아주기

일단 적당한 경로로 들어가서 폴더를 만들어준다.
ex) D:\git\ToonCrafter
2. git 파일 다운로드하기

 

해당 주소창에 cmd 를 입력,

git clone https://github.com/sdbds/ToonCrafter-for-windows.git 을 해준다. 

(Window git이 설치되어있다면 다운로드가 시작될것이다)

 

3. venv 가상환경 설정하기.

 

cmd : python -m venv venv python=3.10

(venv라는 이름의 가상환경 생성과, python 버전은 3.10 버전으로 설치하였다.)

 

4. venv 가상환경 실행하기

cmd 창에서

D:\git\ToonCrafter\venv\Scripts 폴더에있는

activate.bat 을 실행하면 된다.

 

5. 필수 패키지 설치하기

 

위와 같이 폴더가 나오는데

cd ToonCrafter-for-windows 또는
cd Toon 까지 입력후 Tab으로 해당 폴더로 넘어가자

해당 폴더에서

pip install -r requirements-windows.txt 를 입력한다.

 

6. 실행파일 실행하기.

python gradio_app.py

 

7.  gradio_app 확인하기

(venv) D:\git\ToonCrafter\ToonCrafter-for-windows>python gradio_app.py
AE working on z of shape (1, 4, 32, 32) = 4096 dimensions.
checkpoints/tooncrafter_512_interp_v1/model.ckpt
>>> model checkpoint loaded.
Running on local URL:  http://127.0.0.1:7860

 

http://127.0.0.1:7860

주소창에 해당 주소를 입력하여 확인한다.

 

 

Trouble Shooting

1. Torch와 Cuda 의 버전 충돌 문제.

python 오픈소스의경우 정말 고질적인 문제인것같다.

requirements-windows.txt 파일을 살펴보자.

--extra-index-url https://download.pytorch.org/whl/cu118
decord==0.6.0
einops==0.3.0
imageio==2.9.0
numpy==1.24.2
omegaconf==2.1.1
opencv_python
pandas==2.0.0
Pillow==9.5.0
pytorch_lightning==1.9.3
PyYAML==6.0
setuptools==65.6.3
torch==2.0.1
torchvision
tqdm==4.65.0
transformers==4.25.1
moviepy
av
xformers==0.0.20
gradio
timm
scikit-learn 
open_clip_torch==2.22.0
kornia

 

본인의경우 cuda 12.1이 이미 설치되어있기 때문에, (venv의 영향을 받지않는다, window 환경변수에서 확인가능하다)

torch 버전 2.0.1이 환경에 맞지않았다.

 

chatgpt는 대부분의 문제를 쉽게 해결해준다.

 

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

해당 명령문으로 해결하였다.

또한 torch를 2.0.1 -> 2.3.0으로 업그레이드하였더니
xformers 패키지의 버전이 맞지않아 업그레이드 해주었다.

 

pip install --upgrade xformers

 

 

*

 

torch와 cuda가 잘 작동하는지 보기위해서

여러가지의 방법이있다.

 

1. nvidia-smi와  2. nvcc --version이다.

둘의 차이점은 다음과 같다.

nvidia-smi

NVIDIA System Management Interface의 약어로, 현재 시스템의 NVIDIA GPU와 관련된 정보를 보여주는 명령입니다.
주로 GPU의 상태, 메모리 사용량, 사용 중인 프로세스, 온도 등을 확인하는 데 사용됩니다.
시스템에 설치된 NVIDIA 드라이버와 관련된 정보도 표시됩니다.

nvcc --version

NVIDIA CUDA Compiler의 버전을 표시하는 명령입니다.
CUDA는 병렬 컴퓨팅 플랫폼 및 API로, NVIDIA GPU를 사용하여 고성능 병렬 컴퓨팅을 수행하는 데 사용됩니다.
nvcc는 CUDA 소스 코드를 컴파일하고 실행 파일을 생성하는 데 사용되는 컴파일러입니다.
이 명령은 CUDA 설치가 올바르게 되어 있는지 확인하고, 설치된 CUDA의 버전을 확인하는 데 사용됩니다.

 

요약하면, nvidia-smi는 현재 시스템의 GPU 상태 및 정보를 표시하고, 
nvcc --version은 CUDA 컴파일러의 버전을 표시합니다.

3. Python 내부에서도 확인할 수 있다.

 

python

import torch
print(torch.cuda.is_available())

 

true가 나오면 된다.