LLM 선택의 빠른 경로 — 나는 3개월 걸렸다

한 개발자가 있다. 2025년 가을, ollama pull llama3 한 줄로 로컬 LLM의 세계에 입문했다. CPU 추론이라 답 하나에 10초가 걸렸다. 13B에 욕심을 냈다가 VRAM OOM. Q4_K_M 양자화로 내렸지만 여전히 버거웠다. GPU 팬은 비행기 이륙처럼 울었고 전기세는 매달 5만 원씩 올랐다. 3개월간 Ollama, LM Studio, Jan, Open WebUI, llama.cpp, KoboldCpp를 전부 깔아보고 양자화 버전별로 벤치마크를 돌렸다. 결론은 허무했다. DeepSeek API로 갈아타니 비용은 10분의 1, 속도는 3배, 품질은 동급 이상이었다. "그 3개월이 내 커리어에서 가장 비싼 수업료였다"는 어느 개발자의 댓글은 농담이 아니다.

이 글은 그 3개월을 3일로 줄이는 경로를 다룬다. 1편에서 벤치마크의 함정과 기술 용어의 실체를 다뤘다면, 2편은 실제 선택의 프레임워크다.

누구나 겪는 LLM 방황기

이 패턴은 놀라울 정도로 보편적이다. Hacker News 2026년 4월 스레드 "How long did it take you to pick an LLM?"에는 280개가 넘는 댓글이 달렸고, 대부분 비슷한 경로를描寫했다.

1단계: Ollama나 LM Studio를 설치하고 7B 모델을 돌려본다. "돌아간다"는 착각이 시작된다. CPU 추론이라 응답에 몇 초씩 걸리는데도 "무료로 ChatGPT를 돌렸다"는 도파민에 취한다.

2단계: 13B, 32B에 욕심을 낸다. VRAM OOM을 만나고 Q4_K_M 양자화로 다운그레이드. 그래도 모자라서 GPU를 한 대 더 사고 싶어진다.

3단계: GPU 팬 소음, 발열, 전기세를 체감한다. RTX 3060 12GB로 7B Q4가 쾌적한 마지노선이라는 걸 뼈저리게 깨닫는다. Reddit r/LocalLLaMA에는 "RTX 3060 12GB로 13B Q4는 CPU 폴백돼서 1분 걸린다"는 경고가 수두룩하다.

4단계: 멀티모델을 동시에 띄우려다 Ollama keep_alive 튜닝에 빠진다. Ollama는 동시 모델 로딩을 지원하지 않는다는 걸 한참 후에야 알게 된다.

5단계: 결국 "그냥 API 쓰자"로 귀결된다. OpenRouter나 DeepSeek API로 전환하고 나서야 "이걸 진작 알았더라면"이라는 말이 나온다.

Reddit과 Hacker News에서 반복되는 문장이 있다. "3개월 Ollama로 삽질하다 DeepSeek API 쓰고 하루 만에 끝냈다." HN 2026년 4월 기준 1,200 업보트를 받은 베스트 댓글이다. 또 다른 개발자는 "팀에서 쓰려면 vLLM으로 가야 한다. 동시 5명 넘으면 Ollama는 큐가 터진다"고 지적한다. devcheolu 팀의 실측 벤치마크에 따르면, Ollama는 동시 사용자 5명에서 P99 레이턴시 673ms, vLLM은 같은 조건에서 80ms다.

VRAM 수학도 냉정하게 봐야 한다. 7B Q4 약 5GB, 13B Q4 약 7GB, 70B Q4 약 38GB. INT4 양자화 품질 손실은 1~3%로 비즈니스 용도 대부분에서 감지 불가능하다. 하지만 70B Q4를 돌리려면 RTX 3090 24GB 2장이나 A100 80GB 1장이 필요하다. 중고 RTX 3090은 80만 원 선. Mac M4 Max 128GB면 Q4 70B가 원활하다.

문제는 장비가 다가 아니라는 점이다. systemd 서비스에 nginx 리버스 프록시, rate limiting, 타임아웃 300초, 헬스체크, 백업, Tailscale까지 — 주말 하나가 통째로 사라진다. 이게 진정한 숨은 비용이다.

딱 3가지만 보면 된다

커뮤니티가 3개월의 방황 끝에 수렴한 공통 분모는 세 가지다. 품질, 비용, 안정성.

품질이란 "내가 원하는 출력이 나오는가"다. 벤치마크 점수가 아니라 내 워크로드에서 블라인드 테스트 20케이스로 1시간이면 검증이 끝난다. 주목할 점은 벤치마크 순위와 실무 성능의 괴리다.

DeepSeek V4 Pro는 MMLU 88.5, MATH-500 96.4, HumanEval 92.1로 GPT-4o(87.2, 91.5, 90.2)와 Claude 3.7 Sonnet(88.0, 93.7, 91.8)을 수학·코딩에서 앞선다. 그런데 실제 GitHub 이슈 해결 능력을 측정하는 SWE-Bench Verified에서는 Claude 3.7이 62.3점으로 압도적 1위다. DeepSeek V4 Pro는 49.2, GPT-4o는 46.0. 단순 코드 생성과 실제 버그 수정·리팩터링 능력의 차이다.

실무 50회 이상 API 호출로 테스트한 한 한국 개발자(soundphd.tistory)의 체감은 더 구체적이다. Spring Boot 코드 생성은 DeepSeek V4가 가장 빠르고 구조적 완성도가 높았다. 버그 수정과 코드 리뷰는 Claude 3.7만이 race condition 등 동시성 이슈를 정확히 짚어냈다. SQL 최적화는 DeepSeek V4가 인덱스 전략까지 실용적으로 제시했다. 한국어 기술 번역과 요약은 Claude 3.7이 자연스러웠고, DeepSeek V4는 번역투가 남았다. 모호한 기획·아키텍처 논의는 Claude 3.7의 Extended Thinking 모드가 강점을 보였다.

비용은 숫자가 확실하다. 월 2,000만 토큰 입력 + 500만 토큰 출력 기준(중규모 개발팀), DeepSeek V4 Pro는 월 $52(약 7만 원), GPT-4o는 월 $250(약 34만 원), Claude 3.7 Sonnet은 월 $300(약 41만 원). 4.8배에서 5.8배 차이다. 여기에 프롬프트 캐시 히트 98~99% 할인까지 적용하면 실제 비용은 더 내려간다.

안정성은 "서비스가 중단 없이 굴러가는가"다. SLA가 있는 프로바이더를 쓰거나 폴백 체계를 갖춰야 한다. Talki Academy라는 SaaS 스타트업은 OpenAI API 월 $4,200에서 Ollama + Llama 3.3 70B Q8(Hetzner AX102, 2×RTX 4090) 월 $109로 마이그레이션했다. 97.4% 비용 절감. 하지만 13%의 트래픽은 여전히 OpenAI로 폴백한다. 품질 임계값을 설정해 자동으로 API로 빠지는 구조가 없다면 자체호스팅은 리스크가 너무 크다.

성능보다 익숙함

여기까지 읽으면 이런 생각이 들 수 있다. "그래서 DeepSeek를 쓰라는 건가, Claude를 쓰라는 건가?"

둘 다 아니다. 하나만 고르지 않는 것이 정답이다.

Hacker News 2026년 4월 스레드에서 가장 많은 공감을 얻은 조언은 이것이다. "모델을 고르는 게 아니라 워크플로우를 설계하는 거다. 백오피스/개발자 도구는 DeepSeek, 사용자 응대는 Claude/GPT. 이 라우팅만 정해도 3개월 아낀다."

OpenAI 호환 SDK의 가치가 여기서 빛난다. storycompiler.tistory.com의 한 개발자는 6개 프로젝트가 Ollama-native, ChatOllama, requests 직호출 등 제각각이던 걸 vLLM의 OpenAI-compat 엔드포인트로 통합했다. 100줄짜리 어댑터 코드가 사라졌다. "표준에 붙으면 어댑터가 사라진다. 다음 백엔드가 SGLang이 되든 뭐가 되든 호출자 코드는 안 건드려도 된다."

이게 시스템화의 가치다. OpenAI SDK 한 번 익혀두면 Ollama, vLLM, SGLang, DeepSeek, OpenRouter가 다 같은 인터페이스로 호출된다. 익숙한 도구 위에서 백엔드만 갈아끼우는 구조. 그게 가장 빠른 경로다.

그렇다면 3개월을 3일로 줄이는 구체적인 로드맵은 무엇일까. 커뮤니티가 제안하는 "3일 컷" 프레임워크는 이렇다.

1일차: DeepSeek V4 Flash API 키를 발급받는다. 신규 계정 500만 토큰 무료 크레딧이면 충분하다. 자신의 실제 워크로드에서 대표 프롬프트 20개를 추출해 GPT-4o, Claude 3.7과 블라인드 테스트한다. 품질·비용·레이턴시 3축 평가표를 만든다.

2일차: 품질이 만족스러우면 API로 프로덕션에 연결한다. 환경변수 2줄이면 끝이다. 품질이 부족하면 Claude 3.7 Sonnet을 테스트한다. 모델 하나에 올인하지 말고 작업 유형별로 라우팅 규칙을 만든다.

3일차: 월 예상 토큰 사용량에 단가를 곱해 비용을 모델링한다. 3개월 치 예산으로 승인을 받는다. 폴백 임계값을 설정하고 1주일간 모니터링 체계를 구축한다.

핵심은 이것이다. 모델 선택은 3일이면 끝난다. 3개월이 걸리는 건 "로컬에서 완벽하게 돌리려다 삽질하는 시간"이다. 익숙한 도구, 검증된 API, 작업별 라우팅 규칙. 이 세 가지만 있으면 된다.

결국, 경로의 문제다

3개월 방황의 본질은 모델이 아니라 경로에 있다. 로컬에서 시작해 양자화·VRAM·동시성의 벽에 부딪히고 나서야 클라우드 API로 돌아온다. 그 사이 주말과 전기세와 GPU 팬 소음이 증발한다.

처음부터 품질·비용·안정성이라는 세 축으로 워크로드를 쪼개고, 각 축에 맞는 모델을 라우팅하는 구조를 잡았더라면 하루면 끝났을 일이다. OpenAI SDK를 표준 인터페이스로 삼고 백엔드만 갈아끼우는 구조. 그게 측정 가능한 속도 이득보다 더 큰, 측정되지 않는 코드 청결도의 이득을 가져온다.

3개월을 아끼고 싶다면 지금 그 구조를 짜라. ollama pull은 나중에 해도 늦지 않다.