ComfyUI 3D 생성형 AI (SV3D, TripoSR)

1. TripoSR

TripoSR is a state-of-the-art open-source model for fast feedforward 3D reconstruction from a single image, developed in collaboration between Tripo AI and Stability AI.  (본문 설명)

3D 추측 모델 TripoSR 을 사용하여 2D 이미지 → 3D 오브젝트를 생성한다.

 

장점 : 24년 3월 최신모델이라 기존의 3D생성 모델보다는 정확한편이다. 속도가 굉장히 빠르다.

 

git 주소

https://github.com/VAST-AI-Research/TripoSR

GitHub - VAST-AI-Research/TripoSR

 

 

https://huggingface.co/spaces/stabilityai/TripoSR

TripoSR - a Hugging Face Space by stabilityai

 

hugginface를 통해 데모를 실행해볼 수 있다. (이미지를 넣으면 5초이내에 3D 모델이나온다.)

Input Image에 이미지를 올리면, 배경을 제거하고 단검만 남긴다음 3D 오브젝트로 만든다. Format : OBJ, GLB

만들어진 OBJ 파일이다.

tmpu4htodza.obj

1.48MB

 

Blender에서 열어본 파일

 

ComfyUI의 경우

https://github.com/flowtyone/ComfyUI-Flowty-TripoSR

GitHub - flowtyone/ComfyUI-Flowty-TripoSR: TripoSR custom node for comfyui

 누군가 개발해둔 커스텀노드를 이용해 ComfyUI로 확장할 수 있다.

 

 

ComfyUI Workflow

먼저 저번에 사용한 칼 이미지를 가져와보자 (링크 : https://www.artstation.com/artwork/mqXNB9)

예시 이미지(출처 : 아트스테이션)

TripoSR Workflow

 

DS_TripoSR_workflow_.json

0.00MB

2. SV3D

 

SV3D 는 Stable Diffusion Video 기반이며 2D 이미지로 360도 턴테이블 영상을 생성해준다.

 

https://sv3d.github.io/

SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion

 

https://github.com/Stability-AI/generative-models

GitHub - Stability-AI/generative-models: Generative Models by Stability AI

 

 

모델로는

sv3d_u : 카메라 조절없이 턴테이블생성

sv3d_p : sv3d_u를 포함하며 카메라 궤도를 포함한 영상생성)

등 이 있다.

 

 

아래는 메타데이터 정보가 들어간 png 파일이다 (드래그 앤 드롭시 워크플로가 복제됨)

SV3D workflow

DS_SV3D_workflow_.json

0.01MB

 

sv3d로 생성한 영상

 

sv3d_00005.mp4

0.24MB

 

 

프레임이 적기때문에 프레임 보간을 해주는 커스텀노드를 넣는것을 추천한다.

 

 

사용한 커스텀노드 ( VideoHelperSuite)

https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

GitHub - Kosinkadink/ComfyUI-VideoHelperSuite: Nodes related to video workflows