🔌 게이트웨이란 — 콘센트 비유
11회차 지도의 '① 게이트웨이' 칸 — AI계의 멀티탭 콘센트라 불렀던 그 자리를 한 시간 깊이로 펼칩니다. 집에서 노트북·폰·선풍기를 쓸 때 콘센트 모양을 신경 안 쓰듯, 게이트웨이는 내 앱과 여러 AI(Claude·GPT·Gemini·로컬 모델) 사이에 두는 '중간 멀티탭'입니다. 앱은 멀티탭에만 꽂고, 뒤에서 어떤 AI로 연결할지는 게이트웨이가 정합니다. ★★★ 중급.
더 정확히는 '통역 창구'에 가깝습니다. 회사마다 AI를 부르는 양식(API 형식)이 조금씩 다른데, 게이트웨이가 그 차이를 흡수해 — 내 앱은 한 가지 양식으로만 말하고, 뒤에서 Claude 말투·GPT 말투로 번역해 전달해줍니다.
😤 게이트웨이가 없으면 — '모델 갈아끼우기 = 공사'
게이트웨이 없이 앱을 만들면, AI 회사마다 연결 코드와 키(비밀번호)를 따로 박아 넣게 됩니다. 그래서 'GPT 대신 Claude로 바꿔보자' 한 번에 — 멀쩡한 코드를 여기저기 뜯어고치는 공사가 시작돼요. 게이트웨이 한 대만 두면 아래 네 가지가 한꺼번에 정리됩니다.
- 갈아끼우기 지옥 — 모델 바꿀 때마다 코드 수정·재배포. '한번 써보고 비교'가 큰 작업이 됨
- 비용 깜깜이 — 어느 기능이 돈을 얼마나 쓰는지 모름. 청구서 보고 놀람
- 장애에 무방비 — 쓰던 AI가 잠깐 먹통이면(점검·과부하) 서비스도 같이 멈춤
- 키 관리 난장판 — 팀원마다, 기능마다 API 키가 흩어져 누가 얼마 썼는지 추적 불가
⚡ LiteLLM — 사실상의 표준
게이트웨이 하면 거의 모두가 먼저 꺼내는 이름이 LiteLLM입니다(BerriAI, 오픈소스, 대략 4.9만 스타). 핵심은 한 문장 — 'OpenAI 형식 하나로 100개 넘는 AI를 똑같이 호출'한다는 것. ChatGPT를 부르던 그 방식 그대로, 모델 이름만 바꾸면 Claude·Gemini·로컬 모델이 호출됩니다(드롭인 교체).
- 통일된 입구 — OpenAI 양식 하나로 100+ 모델. 새 모델이 나와도 내 앱 코드는 그대로
- 두 가지 형태 — ① 코드에 넣는 라이브러리(Python SDK) ② 한 대 띄워 팀이 함께 쓰는 서버(Proxy=게이트웨이). 비개발자가 떠올릴 건 ②
- 왜 표준인가 — 거의 모든 오픈소스 도구(11회차의 챗 UI·코딩 에이전트 등)가 'LiteLLM 호환'을 기본으로 깔고 감
- 운영 기능 — 폴백·로드밸런싱, 비용 추적·예산, 가상 키, 로그·관리 대시보드까지 한번에
💸 핵심 효과 — 비용·폴백·스마트 라우팅
게이트웨이가 가운데 있으면, 모든 AI 호출이 한 곳을 지나갑니다. 그 길목에서 세 가지 똑똑한 일을 자동으로 해줘요 — 이게 11회차에서 예고했던 '싼 AI/비싼 AI 자동 분배 + 자동 전환'의 실체입니다.
- 스마트 라우팅 — 쉬운 질문(요약·분류)은 싸고 빠른 모델로, 어려운 질문(코드·추론)은 비싼 고성능 모델로 자동 분배
- 폴백(자동 전환) — 1순위 AI가 먹통이거나 한도 초과면, 미리 정해둔 2·3순위로 즉시 갈아탐. 사용자는 끊김을 못 느낌
- 가상 키 — 진짜 API 키(마스터 비밀번호)는 게이트웨이에만 숨기고, 팀원엔 한도 걸린 '체크카드'만 나눠줌 → 유출 위험↓ + 누가 얼마 썼는지 명확
비유하면 매장 입구의 노련한 안내 직원이에요. 단순 문의는 신입에게(싼 AI), 까다로운 컴플레인은 베테랑에게(비싼 AI) 보내고, 한 직원이 자리를 비우면(장애) 곧장 다른 직원에게 넘깁니다. 손님은 그 교통정리를 전혀 눈치채지 못하죠.
🚀 Bifrost — 속도가 생명일 때
LiteLLM이 '표준·범용'이라면, Bifrost(Maxim AI, Apache 2.0, 대략 5.5천 스타)는 '속도 특화' 선수입니다. Go라는 빠른 언어로 만들어 — 게이트웨이가 중간에서 잡아먹는 시간(오버헤드)을 극단적으로 줄였어요. 공식적으로 'LiteLLM보다 50배 빠르다'고 주장하며, 초당 5천 건 요청에서도 추가 지연이 약 11마이크로초(100만분의 11초) 수준이라고 합니다. 단, '50배'는 게이트웨이 자체 처리 속도 비교일 뿐, AI가 답을 생각하는 시간은 모델 몫이라 별개입니다.
- 겹치는 강점 — OpenAI 형식 호환, 자동 폴백·로드밸런싱, 1000+ 모델(23+ 프로바이더). 기본기는 LiteLLM과 유사
- 차별점 — 초고성능 + MCP 지원(7·8회차에서 본 그 MCP). 트래픽이 폭증하는 대규모 서비스에 유리
- 언제 쓰나 — 몇만·수십만 명이 동시에 쓰는 서비스라 게이트웨이 자체 지연이 거슬릴 때. 소규모엔 체감 거의 없음
🧩 7·8·13회차와 이어 보기
- Claude Code(7·8회차) — 기본은 Claude 전용. 하지만 게이트웨이를 앞에 두면 '평소엔 싼 모델, 어려울 때만 고성능'식 비용 절감 구성을 시도할 수 있음
- OpenClaw(13회차) — 폰 메신저로 시킨 명령이 게이트웨이를 거치면, 모델 자동 전환·비용 상한을 한곳에서 통제
- 11회차 챗 UI·코딩 에이전트 — 대부분 'LiteLLM 호환'이 기본. 게이트웨이 한 대만 잘 세워두면 이 도구들이 전부 그 뒤에 줄줄이 붙음
🛠️ 시작하기 — 30분 컷
- 준비 — 쓸 AI 회사의 API 키 1~2개 확보(예: Anthropic, OpenAI). 이게 멀티탭에 연결할 '전원'
- 게이트웨이 띄우기 — 설정 파일(config) 하나에 '어떤 모델들을 쓸지' 적고 한 줄로 실행. 잠시 뒤 내 PC에 입구가 열림
- 연결 확인 — 'OpenAI 양식'으로 모델 이름만 바꿔가며 Claude·GPT를 같은 코드로 호출 → 둘 다 답하면 성공
- 폴백 넣기 — config에 '1순위 GPT, 안 되면 Claude' 식으로 우선순위 추가 → 일부러 1순위를 막아 자동 전환 확인
- 비용 보기 — 대시보드(관리 화면)에서 호출별 비용·누적 사용량 확인 → 가상 키 발급해 한도 걸어보기
# LiteLLM Proxy 맛보기 (예시 — 실제 명령은 공식 문서로 확인)
# 1) 설치
pip install 'litellm[proxy]'
# 2) config.yaml — 쓸 모델 등록 + 폴백 우선순위
model_list:
- model_name: gpt-5
litellm_params:
model: openai/gpt-5
- model_name: claude
litellm_params:
model: anthropic/claude-opus-4
# 3) 게이트웨이 실행
litellm --config config.yaml🧠 이번 회차 한 줄 정리
게이트웨이는 '여러 AI를 한 콘센트로 묶는 중간 멀티탭'입니다 — 모델 갈아끼우기를 설정 한 줄로, 비용을 자동 집계로, 장애를 자동 우회로 바꿔줘요. 입문·표준은 LiteLLM, 초고성능 특화는 Bifrost. 11회차 지도의 한 칸이 이렇게 운영의 중심축이 됩니다.