17회차 · 🎨 오픈소스 이미지·영상 생성 — 로컬 GPU로 무료·무제한

3회차에서 본 Midjourney·Runway는 쉽고 좋지만 구독·종량제 비용이 듭니다. 이번엔 반대편 — '내 GPU로 돌리는 오픈소스'로 이미지·영상을 무료·무제한 생성하는 길입니다. 공짜·무검열·완전 커스터마이징이 장점, 대신 GPU와 약간의 러닝커브가 필요합니다.

🧩 ComfyUI — 오픈소스 생성의 표준 작업대

오픈소스 이미지·영상 모델을 돌리는 사실상 표준 도구. 블록(노드)을 선으로 잇는 방식이라 6회차 Make와 똑 닮았고, 만든 워크플로를 파일 하나로 공유할 수 있습니다.

• 무료·로컬 — 설치만 하면 내 PC에서 무제한 생성, 외부 전송 없음(프라이버시)
• 한 도구로 다 — 이미지(SD·FLUX)부터 영상(Wan·Hunyuan·LTX)까지 같은 화면에서
• 워크플로 공유 — 잘 만든 노드 구성을 .json으로 받아 그대로 재현
• 대안 — 이미지만 간단히 쓸 거면 Automatic1111·Forge, 더 쉬운 길은 아래 클라우드

🖱️ ComfyUI 실제로 다루기 — 화면·노드 읽는 법

ComfyUI를 처음 켜면 빈 화면이 아니라 박스 몇 개가 선으로 이어진 그림이 떠 있습니다. 이게 '기본 워크플로'예요. 박스 하나(노드)가 '작업 한 단계', 박스를 잇는 선(와이어)이 '데이터가 흐르는 길'입니다 — 6회차 Make의 시나리오와 똑같은 발상입니다.

• 노드(박스) — 모델 불러오기·프롬프트·그림 만들기처럼 '일 한 단계'를 담은 칸
• 와이어(선) — 한 노드의 결과를 다음 노드 입력으로 흘려보내는 길. 왼→오른쪽으로 읽으면 됩니다
• 기본 조작 — 빈 곳을 드래그하면 화면 이동, 마우스 휠로 확대·축소, 노드를 잡고 끌면 위치 재배치

🔗 텍스트→이미지 기본 흐름 — 노드 6칸

기본 워크플로는 보통 이 순서로 왼쪽에서 오른쪽으로 이어집니다. 각 칸이 무슨 일을 하는지만 알면 그래프가 한눈에 읽혀요.

1. Load Checkpoint — 쓸 모델 파일(SD 3.5·FLUX 등)을 불러오는 칸. 여기서 모델을 고름
2. CLIP Text Encode (Positive) — '그리고 싶은 것'을 적는 칸(긍정 프롬프트)
3. CLIP Text Encode (Negative) — '피하고 싶은 것'을 적는 칸(부정 프롬프트)
4. KSampler — 실제로 그림을 만들어내는 심장부. 핵심 설정 4가지는 바로 아래에서 따로 설명
5. VAE Decode — KSampler가 만든 '잠재 데이터'를 우리가 보는 진짜 그림(픽셀)으로 변환
6. Save Image / Preview Image — 완성된 그림을 화면에 띄우고 파일로 저장하는 칸

🎛️ KSampler 핵심 설정 4가지

위 ④ KSampler 노드를 클릭하면 보이는 조절값들입니다. 오디오 볼륨 손잡이(knob·노브)처럼 돌려 가며 결과를 맞춘다고 해서 '노브'라고도 불러요.

• steps — 그리는 단계 수(기본 약 20). 높이면 디테일이 늘지만 시간도 늘어남
• cfg — 프롬프트를 얼마나 충실히 따를지(기본 약 7~8). 너무 높이면 부자연스러워짐
• sampler — 그림을 만들어가는 방식(알고리즘) 선택. 처음엔 기본값 그대로 둬도 됨
• seed — 처음 뿌리는 무작위 노이즈의 '씨앗 번호'. 같은 seed면 같은 결과가 재현됨

📥 워크플로 불러오기·연결·값 바꾸기

ComfyUI의 강점은 남이 만든 구성을 그대로 가져다 쓸 수 있다는 점입니다. 처음부터 노드를 짤 필요가 없어요.

• 끌어다 놓기 — 워크플로 .json 파일을, 또는 워크플로 정보가 박힌 결과 PNG를 화면에 드래그하면 그래프가 그대로 재현됨
• 노드 추가 — 빈 캔버스를 더블클릭하면 검색창이 떠서 노드 이름으로 찾아 추가(우클릭 메뉴로도 가능)
• 선 잇기 — 한 노드의 출력점(오른쪽 동그라미)을 잡아 다음 노드의 같은 색 입력점(왼쪽)에 끌어다 연결
• 값 바꾸기 — 노드 안의 칸을 클릭해 프롬프트 문구나 steps·cfg·seed 같은 숫자를 직접 수정

▶️ 실행하기 — Queue Prompt

구성이 끝났으면 생성 버튼을 누르기만 하면 됩니다.

1. Queue Prompt(생성 실행) 버튼을 누르면(또는 Ctrl+Enter) 작업이 '큐(대기열)'에 들어가 순서대로 처리됨
2. 처리 중인 노드가 테두리로 강조되며 진행 상황이 보임 — 끝나면 Save/Preview Image 노드에 결과가 뜸
3. 결과 파일은 기본적으로 ComfyUI의 output 폴더에 자동 저장됨
4. seed를 fixed(고정)로 두면 같은 결과를 다시 뽑고, randomize(무작위)로 두면 누를 때마다 다른 변형이 나옴

🧰 ComfyUI Manager — 모델·노드 클릭으로 설치

거의 필수 확장. 모델 다운로드와 커스텀 노드 설치를 화면에서 클릭으로 처리합니다(터미널 작업 불필요).

• Install Models — 체크포인트·LoRA·VAE를 검색해 바로 받기
• Install Custom Nodes — 영상(Wan·LTX)·컨트롤넷 등 기능 노드 추가
• Install Missing Nodes — 남의 워크플로를 열었을 때 빠진 노드를 자동 감지·설치
• RunPod ComfyUI 템플릿엔 Manager가 보통 기본 포함 (없으면 Manager부터 설치)

🖼️ 로컬 이미지 — Stable Diffusion 3.5 · FLUX

2026년 기준 로컬 오픈 모델 품질이 Midjourney·DALL-E에 필적하거나 넘어섭니다.

1. ComfyUI 설치 (공식 데스크톱 앱 또는 포터블 버전 — 설치법은 Claude에게 물어도 됨)
2. 모델 받기 — Stable Diffusion 3.5 또는 FLUX.1 [dev] 오픈웨이트를 models 폴더에
3. 기본 워크플로 불러오기 → 프롬프트 입력 → Queue(생성)
4. LoRA 추가 — 특정 화풍·인물을 학습한 작은 파일을 끼우면 무한 변형 → 찾기·세팅은 바로 아래

🎭 LoRA 찾아서 끼우기 — 화풍·인물 갈아끼우는 미니 파일

LoRA는 큰 모델에 끼우는 '추가 학습 미니 파일'(수십~수백 MB)입니다. 기본 모델이 '그림 잘 그리는 화가'라면 LoRA는 특정 화풍·인물만 특훈시킨 노트 — 노트만 갈아끼우면 같은 화가가 지브리풍도, 특정 캐릭터도 그려냅니다.

1. ① 찾기 — civitai.com에서 검색. ⚠️ 필터의 '베이스 모델'을 내 체크포인트와 일치시킬 것(FLUX용은 FLUX에만, SDXL용은 SDXL에만 — 안 맞으면 에러·엉뚱한 그림)
2. ② 설치 — 받은 .safetensors 파일을 ComfyUI/models/loras/ 폴더에. RunPod이면 ComfyUI Manager의 'Install Models'에서 검색해 클릭 설치가 제일 쉬움
3. ③ 노드 연결 — 캔버스 더블클릭 → 'Load LoRA' 추가 → Load Checkpoint에서 나오던 MODEL·CLIP 두 선이 Load LoRA를 '경유'해 원래 가던 곳(KSampler·프롬프트 칸)으로 가게 배선
4. ④ 강도·트리거 — strength 0.7~1.0으로 시작(세면 화풍 과다, 약하면 효과 없음). LoRA 페이지에 '트리거 워드'가 적혀 있으면 프롬프트에 그대로 포함
5. ⑤ 실행 — Queue로 뽑아 비교하며 미세조정. 여러 LoRA는 Load LoRA를 연달아 잇되 각각의 강도를 낮추기

• 맥 Draw Things — 노드 배선 없이 앱에서 LoRA Import → 체크박스 켜고 weight 슬라이더 조절이면 끝
• 직접 학습도 가능 — 내 사진 수십 장으로 '나만의 LoRA'(내 얼굴·우리 브랜드 화풍)를 만들 수 있음
• ⚠️ 실존 인물 LoRA는 초상권·딥페이크 위험 — 본인이거나 허락받은 인물만

🎬 오픈 영상 모델 — 내 PC에서 영상까지

이미지뿐 아니라 영상도 오픈소스로. 모두 ComfyUI 노드로 돌아가며 텍스트→영상·이미지→영상 둘 다 됩니다.

• Wan 2.2 (알리바바) — 가장 시네마틱하다는 평. 1.3B는 8GB VRAM, 14B는 고품질(더 큰 GPU 필요)
• HunyuanVideo 1.5 (텐센트) — 8.3B로 경량화. fp8 양자화 시 24GB급 권장(12GB로도 저해상도 가능), 오프로딩으로 VRAM 절감
• LTX-Video (Lightricks) — 가장 빠름, 12GB 카드에서도 실시간급 생성
• CogVideoX — 비교적 가벼운 또 다른 선택지

🎚️ 로컬 영상 품질 올리기 — 16GB의 현실

작은 GPU(통합메모리 16GB급)에서 LTX 영상 품질을 끌어올리는 순서입니다. 메모리가 빠듯하니 작게 시작해 한 단계씩 올리세요.

• 해상도가 가장 큰 레버 — 512×320 → 768×512만 올려도 선명도가 확 좋아짐(대신 시간↑)
• 길이 — 49프레임(2초) → 97프레임(4초)으로 '너무 짧음' 해결
• 고해상도는 '2단계'로 — 저해상도로 생성 → LTX 업스케일러(LTXVLatentUpsampler)로 2배 확대 → 1024×640. 디코드는 타일 분할(VAEDecodeTiled)로 메모리 부족(OOM) 회피
• 시간 감각 — 16GB에서 4초 클립 약 3분, 업스케일까지 약 6분 (상용 도구처럼 즉시 안 나옴)

💻 GPU가 없다면 — 클라우드로 대체

고사양 그래픽카드가 없어도 됩니다. '완전 무료'는 아니지만 하드웨어 없이 같은 오픈 모델을 돌릴 수 있어요.

• GPU 대여 — RunPod·Vast.ai에서 시간당 결제로 ComfyUI를 통째로 띄움 → 사용법은 바로 아래 '☁️ RunPod 자세히'
• 실행당 API — fal.ai·Replicate에서 FLUX·Wan 등을 호출당 과금(서버·설치 불필요) → 사용법은 조금 아래 '⚡ fal.ai 자세히'
• 무료 맛보기 — Google Colab 등으로 가볍게 체험(세션·시간 제한 있음)

☁️ RunPod 자세히 — GPU를 시간당 빌리기

고사양 그래픽카드가 없을 때 가장 많이 쓰는 GPU 클라우드. ComfyUI 템플릿이 준비돼 있어 클릭 몇 번이면 원격 GPU에서 바로 생성할 수 있습니다.

1. runpod.io 가입 → 크레딧 충전(선불·본인 결제)
2. Deploy → 'ComfyUI' 템플릿 선택 → GPU 고르기(이미지는 RTX 4090, 영상은 A100·H100)
3. 브라우저로 ComfyUI 접속 → 모델·프롬프트 → 생성
4. 끝나면 Pod 'Stop/Terminate' — 켜두면 계속 과금됩니다

• 가격(대략) — RTX 4090 약 $0.34/hr · A100 80GB 약 $0.89/hr (Community 기준). Secure(데이터센터)는 더 비싸고 안정적
• 방식 — Community(개인 제공, 쌈·가끔 끊김) vs Secure(안정) · 초/분 단위 과금 · 스토리지 약 $0.10/GB·월
• 더 싸게/쉽게 — Vast.ai(마켓 최저가, 끊길 수 있음) / 설치 싫으면 fal.ai·Replicate(실행당 과금)

🔌 RunPod 접속 & 모델 보존

• 접속 — Pod의 'Connect' → 'HTTP Service [Port 8188]'이 ComfyUI 화면 (Jupyter·웹 터미널도 제공)
• 디스크 2종 — Container Disk(임시, 종료 시 사라짐) vs Volume Disk(유지). 모델·결과물은 Volume에 둘 것
• Network Volume — 여러 Pod가 공유하는 저장소. 한 번 받은 모델을 다음에 재다운로드 안 해도 됨(시간·비용↓)
• Stop vs Terminate — Stop은 디스크 유지(소액 과금 지속·재시작 빠름), Terminate는 완전 삭제. 모델 보존하려면 Volume + Stop
• 팁 — 처음엔 작은 GPU(RTX 4090)로 워크플로를 맞춘 뒤, 영상 등 무거운 작업에만 큰 GPU로 올리면 비용 절약

⏱️ RunPod 실전 주의 — 부팅·회수·재과금

막상 붙여보면 겪는, 문서엔 잘 안 나오는 3가지입니다. 미리 알면 당황하지 않아요.

• 부팅 대기 — 'RUNNING'이 떠도 바로 못 씁니다. ComfyUI가 실제로 뜰 때까지 1~5분 더 걸려요(모델 볼륨을 붙인 첫 부팅은 더 김). 접속했는데 502가 뜨면 에러가 아니라 '아직 부팅 중' 신호 — 잠깐 기다렸다 새로고침
• 싼 GPU는 갑자기 사라질 수 있음 — Community·저가(중단형) GPU는 RunPod이 몇 분 만에 회수해 pod가 통째로 없어지기도 합니다('pod not found'). 그래서 모델·워크플로는 반드시 Network Volume에 두고(볼륨은 pod가 사라져도 남음), 안정성이 중요하면 Secure를 선택
• 과금은 '켜져 있는 동안만' — 안 쓸 때 pod를 끄면(중단) 과금 0, 다시 쓰려면 재시작·재배포해야 하고 그 순간부터 다시 과금 시작. 그래서 '작업할 때 켜고, 끝나면 바로 끄기'가 습관

💸 직접(RunPod) vs 상용(Runway) — 영상 비용

• Runway(상용) — Gen-4.5 5초 클립 약 $1.3~3 (구독 크레딧, 초당 차감). 즉시·최상위 품질·셋업 0
• RunPod(오픈소스) — 5초 클립 약 LTX 몇 센트 / Wan·HunyuanVideo $0.2~0.5 + 셋업 오버헤드. 느리지만 사실상 무제한
• 손익분기 — 소량은 상용이 편하고 충분히 쌈, 대량(수십~수백 클립)은 RunPod 압승 (예: 5초 20개 ≈ RunPod $3 안팎 vs Runway $40~50)

⚡ fal.ai 자세히 — '실행당'으로 호출하기

fal.ai는 GPU를 빌리는 게 아니라, 이미 올라가 있는 모델(FLUX·SD·Wan·Kling·Veo 등)을 '생성한 만큼만' 돈 내고 부르는 서버리스 플랫폼입니다. 설치·서버 관리가 0이라 RunPod보다 시작이 훨씬 쉽습니다.

쓰는 길은 두 갈래 — 코딩 없이 쓰는 '플레이그라운드'와, 자동화·앱에 붙이는 'API'입니다.

1. ① 가입 — fal.ai 접속 → 로그인 → 결제수단 등록(실행당이라 본인 결제 필요)
2. ② 코딩 없이 — 'Models/Explore'에서 모델(예: FLUX) 클릭 → 프롬프트 입력 → 'Run' → 결과와 요금이 바로 표시
3. ③ 코드·자동화로 — 'API Keys'에서 키 발급 → 파이썬·JS나 6회차 Make·n8n에서 호출(키는 비밀번호처럼 취급, 노출 금지)
4. ④ 비용 확인 — 모델마다 단가가 적혀 있고, 대시보드에서 누적 사용액 확인

• 과금 — 이미지는 건당(FLUX 약 $0.01~0.05 수준), 영상은 초당. 안 쓰면 0원(유휴 비용 없음)
• 장점 — 설치·GPU 관리 0, 신모델이 출시 직후 빠르게 올라옴, 추론이 빠름, 자동화·앱 연동이 쉬움
• 한계 — 건당 단가는 RunPod 풀가동보다 비쌀 수 있고, ComfyUI처럼 노드를 세밀하게 만지는 건 제한(정해진 옵션 위주)
• Replicate도 같은 부류 — fal.ai는 속도·미디어 특화, Replicate는 모델 종류가 방대. 둘 중 편한 걸로

🤔 품질·요금, 흔한 오해 바로잡기

• '오픈소스 전용?' — 아니요. Kling·Veo·Hailuo 같은 상용 모델도 올라와 있습니다. 같은 모델이면 본가 앱과 결과물 품질이 동일 — 품질은 플랫폼이 아니라 '어떤 모델을 고르냐'가 결정
• '무조건 싸다?' — 상용 모델의 건당 단가는 본가 구독과 비슷하게 책정돼 있음. 절약은 단가가 아니라 사용 패턴에서 나옴 — 안 쓰는 달 0원(유휴 비용 없음), 약정 없음
• 많이 쓰면 역전 — 생성은 수십 번 재시도가 기본이라, 한 도구를 매달 대량으로 쓰면 구독(크레딧 할인·무제한 모드)이 단가가 더 낮음
• 본가 앱의 작업 환경은 없음 — Runway 타임라인 편집·Midjourney 편집기 같은 편의 기능과 프로젝트 관리는 포기(fal은 모델만 제공, 결과물은 직접 다운로드)

🍎 맥(애플 실리콘)에서는?

위 설명은 NVIDIA GPU(CUDA) 기준이라 맥은 사정이 조금 다릅니다 — 이미지는 충분히 되고, 영상은 느리지만 가능합니다.

• 🖼️ 이미지 — 'Draw Things'(맥·아이폰 네이티브 앱)가 1순위. 터미널 없이 SD·FLUX·LoRA, ComfyUI보다 빠름. 예: M4 Pro 24GB에서 FLUX 1장 약 50초
• 🎬 영상 — LTX-Video가 맥에 가장 친화적(맥 전용 앱도 있음). 단 4초 클립에 수 분~10분 수준이고, Wan 2.2·HunyuanVideo는 아직 맥 지원이 약함
• 💻 권장 — 통합메모리 16~24GB+면 이미지 쾌적. 무거운 영상은 클라우드 GPU(RunPod·fal.ai)로
• 🚀 곧 빨라짐 — M5(2026)부터 생성 속도가 크게 향상될 전망(이미지 M4 대비 약 3.8배)

💰 비용·하드웨어 현실

• 로컬 — GPU만 있으면 추가 비용은 전기료뿐, 무제한·무검열
• 권장 VRAM — 16~24GB(RTX 4090급)가 쾌적, 8~12GB도 경량 모델(Wan 1.3B·LTX)이면 가능
• 클라우드 — RunPod 시간당 또는 fal.ai 실행당, 쓴 만큼만
• 시간 — 영상은 한 클립에 수 분~수십 분 걸릴 수 있음(GPU 성능에 비례)

⚖️ 상용 vs 오픈소스 — 언제 무엇을

• 상용(Midjourney·Runway) — 가입하면 끝, 고품질·빠름. 대신 비용·검열·커스터마이징 한계
• 오픈소스(ComfyUI+로컬) — 무료·무제한·프라이버시·완전 커스터마이징(LoRA). 대신 GPU·러닝커브 필요
• 추천 — 가볍게면 상용, '많이·내 식대로·비공개'면 오픈소스. 둘을 섞어 써도 됨

🗺️ 고급반 한 바퀴 — 오픈소스 생태계 총정리

• 11 생태계 지도 → 12 OMC → 13 OpenClaw → 14 셀프호스팅·노코드(Dify) → 15 게이트웨이 → 16 코딩 에이전트·앱 SDK → 17 이미지·영상 생성
• 관통하는 한 가지 — 특정 회사에 묶이지 않는 자유(오픈소스·멀티 프로바이더)
• 비개발자 추천 동선 — OMC·OpenClaw·셀프호스팅·Dify까지는 직접, 게이트웨이부터는 개념 이해 + 필요 시 전문가와