지금까지는 '완성된 AI 서비스(ChatGPT·Claude 등)'를 썼다면, 이번 회차는 그 아래를 받치는 '오픈소스 생태계'를 지도처럼 훑습니다. 목표는 도구 하나하나 외우는 게 아니라 — '내가 필요할 때 어느 칸에서 찾으면 되는지' 감을 잡는 것. 비개발자도 ②④⑦은 바로 쓸 수 있어요.
🧭 큰 그림 — 엔진 vs 사용법
AI 모델(Claude·GPT·Gemini)은 '엔진'이고, 오픈소스 도구들은 그 엔진을 쓰는 여러 방법입니다. 자동차 엔진은 같아도 트럭·택시·경주차가 다르듯이요. 크게 8개 묶음(클러스터)으로 나뉩니다.
🔓 핵심 개념 — '멀티-프로바이더'
이번 회차의 도구들은 대부분 '멀티-프로바이더'예요. 판별법은 한 문장: 'Claude를 빼면 못 쓰게 되나?' → 다른 모델로 계속 쓰면 멀티-프로바이더입니다. 즉 특정 회사에 묶이지 않아, 모델을 자유롭게 갈아끼울 수 있다는 뜻.
🔀 ① 게이트웨이 — AI계의 멀티탭 콘센트
여러 AI를 하나의 구멍에 모아 골라 쓰게 해주는 중간 장치. 앱은 콘센트 모양 신경 안 쓰고 그냥 꽂으면 됩니다.
- LiteLLM — 사실상 표준. OpenAI 형식 하나로 100+ 모델 호출, 비용·폴백 관리
- Bifrost — Go 기반 초고성능(1000+ 모델), 성능 중시 엔터프라이즈용
- 효과 — '쉬운 질문은 싼 AI, 어려운 건 비싼 AI' 자동 분배 + 한 AI 고장나도 자동 전환
💬 ② 셀프호스팅 챗 UI — 우리 회사 전용 ChatGPT
ChatGPT랑 똑같은 화면을 우리 서버에 직접 띄우는 것. 대화가 외부로 안 나가 기밀이 안전합니다. (비개발자도 설치만 하면 사용 가능)
- Open WebUI — 가장 인기(136K+ 스타). Claude·GPT·로컬 모델 + 문서 RAG·웹검색 내장
- LibreChat — 멀티유저·권한 관리 강함, 팀용
- 효과 — 사내 문서 기반 답변 + 기밀 유출 0 + 구독료 절감
💻 ③ 코딩 에이전트 — 무료 코딩 비서
'로그인 버튼 추가해줘'처럼 말로 시키면 코드를 짜주는 AI. 7·8회차의 Claude Code와 같은 부류지만, 모델을 골라 쓰는 오픈소스 버전입니다.
- OpenCode — 가장 많이 쓰는 오픈소스 코딩 에이전트, 75+ 모델
- Cline — VS Code 확장(Cursor 무료 대안), 200+ 모델
- OpenHands — 작업을 통째로 맡기는 자율 SWE 에이전트
📱 ④ 메신저 비서 — 카톡 속 AI (OpenClaw)
새 앱 설치 없이, 이미 쓰는 메신저(텔레그램·슬랙 등)에 AI를 한 명 추가하는 방식. 13회차에서 다룬 OpenClaw가 대표입니다.
- OpenClaw — 23개 채널 지원, Claude·GPT·로컬 모델 자유 교체
- 효과 — PC 안 켜도 폰 메신저로 'AI에게 톡 보내듯' 일 시키기
- 특징 — 의외로 경쟁이 적은 '틈새' 카테고리 (대부분 챗 UI나 자동화로 대체)
🧱 ⑤ 앱 SDK & 🤖 ⑥ 에이전트 프레임워크 — 서비스 제작(개발용)
AI로 '나만의 서비스·사업'을 코드로 만들 때 쓰는 부품과 협업 틀. 여기는 개발 지식이 필요합니다.
- ⑤ 앱 SDK — LangChain·LlamaIndex. AI 앱을 만드는 레고 블록 (예: 문서 답변 챗봇 → SaaS 창업)
- ⑥ 에이전트 FW — CrewAI·LangGraph·AutoGen. AI들로 '팀'을 짜서 협업(기획·작성·검수)
- 현황 — ⑥은 2026년 가장 붐비는 분야(수백 개). 너무 많아 고르기 어려운 게 단점
🎨 ⑦ 노코드 & 🟠 ⑧ Claude 확장
- ⑦ 노코드 — Dify·Flowise. 코딩 0으로 드래그앤드롭 챗봇/RAG 제작 (비개발자, 6회차 자동화와 인접)
- ⑧ Claude 확장 — oh-my-claudecode(OMC). Claude Code에 자율 모드(/ralph 등)를 더하는 확장팩. 단 'Claude 전용'이라 멀티-프로바이더는 아님(7·8회차 연장)
🗺️ 한눈에 — 어디가 붐비고 어디가 비었나
- 🔥🔥 가장 붐빔 — ⑥ 에이전트 프레임워크(수백 개)
- 🔥 매우 붐빔 — ③ 코딩 에이전트, ⑦ 노코드
- 중간 — ① 게이트웨이, ② 챗 UI, ⑤ SDK
- 신생·급성장 — ⑧ Claude 확장
- 🕳️ 틈새(적음) — ④ 메신저 비서(OpenClaw)
🛠️ 미니 실습 — 사내 챗봇 30분 컷
가장 진입 쉬운 ②번을 직접 만들어 봅니다. 키 0원, 데이터 0 유출.
- Ollama 설치(공식 앱) → 한국어 모델 받기: 'ollama pull qwen2.5:7b'
- Open WebUI 설치 → 실행(localhost:8080) → 브라우저 접속
- 첫 가입자가 자동 관리자 — 로컬 계정이라 외부 전송 0
- 모델 자동 인식 확인 → 한국어로 대화 테스트
- 회사 문서(PDF) 업로드 → '문서 기반 답변(RAG)' 켜기
- 끝 — 우리만의 ChatGPT 완성. 외부 API 키 쓰려면 Anthropic/OpenAI 키를 연결(종량제)
📚 RAG — AI에게 '우리 문서 보고 답해' 시키기
위 실습의 '문서 기반 답변'이 바로 RAG입니다. RAG는 Retrieval-Augmented Generation(검색 증강 생성)의 약자 — AI가 답하기 전에 내가 준 문서에서 관련 부분을 먼저 찾아보고(검색), 그걸 근거로 답을 만드는(생성) 방식이에요.
비유하면 시험과 같습니다. RAG 없는 AI는 외운 것만으로 답하는 '암기 시험'이라 모르면 그럴듯하게 지어냅니다(환각). RAG를 쓰면 교과서를 펴놓고 찾아서 답하는 '오픈북 시험'이 됩니다 — 우리 자료 기반이라 훨씬 정확하죠.
- 왜 필요한가 — ChatGPT는 '우리 회사 내부 문서'를 모릅니다(학습 안 했으니). 그냥 물으면 모르거나 지어냄
- RAG를 붙이면 — 연차 규정 PDF를 연결 → 'AI가 규정 3조를 찾아 15일이라고 출처까지 인용'
- 핵심 장점 — ① 정확성(환각↓) ② 최신성(문서만 갈아끼우면 됨, 재학습 불필요) ③ 출처 제시
⚙️ RAG는 어떻게 작동하나 — 4단계
- ① 청킹(Chunking) — 긴 문서를 의미 단위로 잘게 쪼갬 (한 번에 다 못 넣으니)
- ② 임베딩(Embedding) — 각 조각을 '의미 좌표(숫자 벡터)'로 변환 → 벡터DB에 저장
- ③ 검색(Retrieval) — 질문이 들어오면 의미가 가까운 조각을 벡터DB에서 찾음
- ④ 생성(Generation) — 찾은 조각 + 질문을 함께 AI에 전달 → 그 근거로 답변
🧩 함께 알아둘 핵심 용어
- 임베딩(Embedding) — 글의 '의미'를 숫자 좌표로 바꾼 것. 뜻이 비슷하면 좌표도 가까움 ('강아지'와 '개'는 근처)
- 벡터DB(Vector DB) — 그 의미 좌표를 저장하고 '가까운 것 빨리 찾기'에 특화된 DB (Chroma·Pinecone·pgvector 등)
- 시맨틱 검색 — 키워드 일치가 아니라 '의미'로 찾는 검색 (RAG의 검색 단계가 이것)
- 컨텍스트 윈도우 — AI가 한 번에 볼 수 있는 분량. RAG는 '관련 조각만' 넣어 이 한계를 우회
- 청크 크기 — 너무 크면 부정확, 너무 작으면 맥락 손실. 적절한 크기가 품질을 좌우
🆚 RAG vs 파인튜닝 — 언제 무엇을
- RAG — '지식'을 외부 문서로 공급. 자주 바뀌는 정보·사내 문서·출처가 필요할 때. 빠르고 저렴
- 파인튜닝(Fine-tuning) — 모델 자체를 추가 학습시켜 '말투·형식·전문성'을 주입. 비싸고 느림
- 실무 결론 — 대부분의 '우리 문서로 답하기'는 RAG로 충분. 둘을 섞기도 함(RAG로 지식 + 파인튜닝으로 톤)