Cosmos Predict2 Video2World ComfyUI 공식 예제

이 가이드는 ComfyUI에서 Cosmos-Predict2 Video2World 워크플로를 완료하는 방법을 설명합니다.

Cosmos-Predict2는 NVIDIA의 차세대 물리 세계 기반 모델로, 물리적 AI 시나리오에서 고품질 시각 생성 및 예측 작업을 위해 특별히 설계되었습니다. 이 모델은 뛰어난 물리적 정확성, 환경 상호작용성, 세부 묘사 능력을 갖추고 있어 복잡한 물리 현상과 동적 장면을 사실적으로 시뮬레이션할 수 있습니다.

Cosmos-Predict2는 텍스트 기반 이미지 생성(Text2Image)과 비디오 기반 월드 생성(Video2World) 등 다양한 생성 방식을 지원하며, 산업 시뮬레이션, 자율주행, 도시 계획, 과학 연구 등 여러 분야에서 널리 사용되고 있습니다. 이는 지능형 비전과 물리 세계의 깊은 통합을 촉진하는 핵심 기반 도구입니다.

GitHub

Cosmos-Predict2 소스 코드 및 문서

Hugging Face

Cosmos-Predict2 모델 컬렉션

이 가이드는 ComfyUI에서 Video2World 생성을 완료하는 방법을 안내합니다.

텍스트 기반 이미지 생성 부분은 다음을 참고하세요:

Cosmos Predict2 텍스트 기반 이미지 생성

Cosmos-Predict2를 이용한 텍스트 기반 이미지 생성

Comfy Cloud에서 실행

강력한 GPU로 Comfy Cloud에서 Cosmos-Predict2 워크플로 실행

로컬 사용자

ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.

• ComfyUI 다운로드
• 업데이트 가이드

이 가이드의 워크플로는 워크플로 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다.

워크플로를 로드할 때 노드가 누락되는 경우, 가능한 원인:

1. 최신 ComfyUI 버전(최신 테스트 버전(nightly))을 사용하고 있지 않음
2. 일부 노드가 시작 시 가져오기에 실패함

클라우드 사용자

• 클라우드는 ComfyUI 안정판 출시 후 업데이트됩니다.

따라서 이 문서에서 핵심 노드가 누락된 것을 발견했다면, 그 이유는 새로운 핵심 노드가 아직 최신 안정판에 공개되지 않았기 때문일 수 있습니다. 다음 안정판 출시를 기다려 주세요.

​

Cosmos Predict2 Video2World 워크플로

2B 버전을 테스트할 때 약 16GB VRAM이 필요합니다.

​

1. 워크플로 파일

아래 비디오를 다운로드하여 ComfyUI에 드래그하면 워크플로가 로드됩니다. 워크플로에는 모델 다운로드 링크가 이미 포함되어 있습니다.

Comfy Cloud에서 실행

사전 설치된 모델로 Comfy Cloud에서 이 워크플로 실행

워크플로 파일 다운로드

JSON 형식 워크플로 파일 다운로드

다음 이미지를 입력으로 다운로드하세요:

​

2. 수동 모델 설치

모델 다운로드가 성공하지 못한 경우, 이 섹션에서 직접 수동으로 다운로드할 수 있습니다.

확산 모델

확산 모델

cosmos_predict2_2B_video2world_480p_16fps.safetensors

기타 가중치는 Cosmos_Predict2_repackaged에서 다운로드하세요.

텍스트 인코더

텍스트 인코더

oldt5_xxl_fp8_e4m3fn_scaled.safetensors

VAE

VAE

wan_2.1_vae.safetensors

파일 저장 위치

📂 ComfyUI/
├──📂 models/
│   ├── 📂 diffusion_models/
│   │   └─── cosmos_predict2_2B_video2world_480p_16fps.safetensors
│   ├── 📂 text_encoders/
│   │   └─── oldt5_xxl_fp8_e4m3fn_scaled.safetensors
│   └── 📂 vae/
│       └──  wan_2.1_vae.safetensors

​

3. 워크플로 단계별 완료

이미지의 단계에 따라 워크플로를 실행하세요:

1. Load Diffusion Model 노드가 cosmos_predict2_2B_video2world_480p_16fps.safetensors를 로드했는지 확인합니다.
2. Load CLIP 노드가 oldt5_xxl_fp8_e4m3fn_scaled.safetensors를 로드했는지 확인합니다.
3. Load VAE 노드가 wan_2.1_vae.safetensors를 로드했는지 확인합니다.
4. 제공된 입력 이미지를 Load Image 노드에 업로드합니다.
5. (선택사항) 첫 번째 및 마지막 프레임 제어가 필요하면 단축키 Ctrl(cmd) + B를 사용하여 마지막 프레임 입력을 활성화합니다.
6. (선택사항) ClipTextEncode 노드에서 프롬프트를 수정할 수 있습니다.
7. (선택사항) CosmosPredict2ImageToVideoLatent 노드에서 크기와 프레임 수를 조정합니다.
8. Run 버튼을 클릭하거나 Ctrl(cmd) + Enter 단축키를 눌러 워크플로를 실행합니다.
9. 생성이 완료되면 비디오가 자동으로 ComfyUI/output/ 디렉토리에 저장되며, save video 노드에서 미리보기할 수 있습니다.