LLM, 그래서 어떻게 써먹을 것인가?

1편에서 벤치마크의 함정을 봤고, 2편에서 선택의 빠른 경로를 찾았다. 이제 남은 건 하나다. 우리 팀, 우리 예산, 우리 데이터에 딱 맞는 활용 전략은 무엇인가. 정답은 없다. 하지만 해답은 있다.

리눅스 서버, 꼭 필요할까?

미니 PC(라이젠 9 8945HS, 16GB) 28만 원. 중고 RTX 3090 24GB 80만 원. ChatGPT Plus 1년 구독 24만 원. 숫자만 보면 하드웨어값은 1~2년이면 뽑는다. 문제는 그다음부터다.

서비스를 올리면 systemd, nginx 리버스 프록시, rate limiting, 타임아웃 300초, 별도 모델 스토리지 마운트, 헬스체크, 모니터링(Uptime Kuma), 백업(Restic), Tailscale까지 — 주말 하나가 통째로 사라진다. 그리고 이게 끝이 아니다.

Particula의 2026년 TCO 분석에 따르면 자체호스팅의 숨은 운영비는 월 $2,300~5,900(약 320~820만 원)이다. 시니어 MLOps 0.2FTE에 연 5~7천만 원, 평가·옵저버빌리티 도구 월 50~300달러, 온콜 로테이션, 분기마다 1~3주씩 모델 업데이트 검수. 첫 SEV-1(서비스 장애) 한 번이면 6개월치 API 비용 차익이 증발한다.

손익분기점은 냉정하다. 순수 자체호스팅은 월 API 지출이 $50,000~80,000(약 7천만~1.1억 원)을 넘어야 의미가 있다. 하이브리드(자체호스팅+API 혼합)도 $25,000(약 3,500만 원)은 넘어야 한다. 대부분의 팀은 그 아래에 있다.

VRAM 수학도 돌아보자. 7B Q4는 5GB, 13B Q4는 7GB, 70B Q4는 38GB. RTX 3090 24GB 2장으로 70B Q4를 겨우 돌린다. Mac M4 Max 128GB면 70B Q4가 원활하다. 하지만 405B Q4는 203GB가 필요하다. 아직 개인 서버의 영역이 아니다.

이 모든 걸 감당할 수 있다면 자체호스팅은 강력한 무기다. 데이터는 내 서버를 떠나지 않고, API 비용은 제로가 된다. 하지만 감당할 수 없다면? 솔직히 API를 쓰는 게 답이다. "월 2천만 원 미만이면 API가 정답이다. 엔지니어링 시간을 아껴 제품에 집중하라"는 업계의 조언은 과장이 아니다.

보안도 빼놓을 수 없다. Ollama 11434 포트를 절대 공개해서는 안 된다. 반드시 127.0.0.1에만 바인딩하고, nginx 리버스 프록시를 앞에 두고, Basic Auth나 OAuth2 Proxy로 인증하고, Tailscale Serve로 TLS까지 감싸야 한다. Tailscale Funnel이나 공인 포트 포워딩은 금물이다.

API 하나로 충분하다 — DeepSeek V4 Pro + PII 가드레일

2026년 현재, DeepSeek V4 Pro는 게임 체인저다. 입력 100만 토큰당 $0.435, 출력 $0.87. GPT-5.5($5/$30) 대비 91% 저렴하다. 프론티어 추론급 품질을 유지하면서 가격은 플래시급이다.

V4 Flash는 입력 $0.14, 출력 $0.28로 일상 작업의 80%를 커버한다. 여기에 프롬프트 캐시 히트 시 98~99% 할인이 적용된다. 시스템 프롬프트나 공유 컨텍스트를 재사용하기만 해도 비용이 1/50로 떨어진다.

비용 시뮬레이션을 해보자. 월 1만 쿼리, 쿼리당 입력 2K + 출력 500 토큰 기준. GPT-4o는 월 $175(연 $2,100). DeepSeek V4 Flash는 월 $7(연 $84). Pro 혼합(20% 복잡 작업)으로도 월 $30(연 $360). 93% 절감이다.

그런데 API를 쓰려면 개인정보보호가 걸림돌이다. 특히 DeepSeek 공식 API는 중국 본토 인프라를 경유하므로, 한국의 개인정보보호법과 정보통신망법 준수 검토가 필수다. 해결책은 Together AI나 Fireworks AI 같은 글로벌 프로바이더를 통하거나, 국내 클라우드(KT, NHN, 네이버)에서 호스팅하는 것이다.

PII 가드레일은 3계층으로 설계하면 된다. 1계층은 정규식이다. Presidio나 자체 구현으로 이메일·전화번호·주민등록번호·카드번호·IP·IBAN을 1ms 이내에 걸러낸다. 구조화된 PII의 90%는 여기서 잡힌다. 2계층은 NER(Named Entity Recognition)이다. Microsoft Presidio의 spaCy 기반 엔진으로 인명·기관명·주소를 5~20ms에 탐지한다. 3계층은 문맥 기반 LLM 필터다. 2026년 5월 오픈웨이트로 공개된 OpenAI Privacy Filter나 Llama Guard 4를 로컬에서 돌려 50~200ms 내에 문맥 의존적인 PII까지 차단한다. 단, 3계층은 고위험 시스템에서만 적용하면 된다.

핵심 원칙은 이것이다. 구조화된 PII는 게이트웨이 계층에서 통일 처리하고, 문맥 의존적인 PII만 애플리케이션 계층에서 처리한다. GDPR의 적법 근거, 처리 활동 기록, DPIA(데이터 보호 영향 평가)는 어떤 방식을 선택하든 기본이다.

당신의 환경에 맞는 LLM 활용법

시나리오별로 정리한다. 자신에게 맞는 줄을 찾으면 된다.

개인 개발자, 사이드 프로젝트라면 DeepSeek 글로벌 API에 Presidio PII 파이프라인을 붙이고 LiteLLM으로 라우팅한다. 신규 계정 500만 토큰 무료 크레딧으로 프로토타입을 완성하고, 월 $5~15면 운영이 된다. 1일이면 환경 구축이 끝난다.

비개발자, 기획자, 마케터라면 미니 PC(Beelink SER8, 28만 원)에 Ollama와 Open WebUI를 Docker로 올린다. 데이터는 완전히 로컬에 있고, UI는 ChatGPT와 비슷하다. Tailscale로 포트포워딩 없이 외부에서도 접속할 수 있다. 하드웨어 구매 후 월 비용은 0원이다.

소규모 팀(3~10명)은 LiteLLM 게이트웨이로 모델 라우팅을 통합한다. 단순 작업은 DeepSeek V4 Flash나 자체 7B로, 복잡한 작업은 Claude Sonnet으로 자동 라우팅한다. 프롬프트 버전관리는 Git, 비용 모니터링은 Langfuse, PII는 Presidio로 게이트웨이에서 처리. 이 3종 세트면 월 $50~200으로 충분하다.

규제 산업(금융·의료·공공)은 선택지가 제한적이다. 데이터 레지던시가 법적 요구사항이라면 EU 법인 공급사(Mistral, Aleph Alpha)나 온프레미스 자체호스팅이 유일한 답이다. vLLM 클러스터를 Kubernetes에 올리고, 온프레미스 pgVector를 붙이고, ZDR(Zero Data Retention)과 EU DPA를 계약에 명시한다. 삭제 파이프라인 검증도 필수다 — 벡터 DB, 캐시, 골든 데이터셋, 텔레메트리 스팬까지 모든 곳에서 개인정보가 지워지는지 확인해야 한다. 월 $5,000 이상, 전담 인력 필수다.

정답은 없지만 해답은 있다

모든 팀, 모든 예산, 모든 규제 환경에 맞는 하나의 정답은 존재하지 않는다. 하지만 해답은 명확하다.

월 API 지출이 2천만 원 미만이라면 API가 정답이다. 엔지니어링 시간을 아껴 제품에 집중하라. 2,500만 원에서 8천만 원 사이라면 하이브리드가 해답이다. 꾸준한 워크로드는 자체 70B 양자화로, 튀는 워크로드는 API로 — 블렌디드 비용을 67% 절감할 수 있다. 8천만 원을 넘고 데이터 주권이 법적으로 요구된다면 자체호스팅이 해답이다. 단, 팀이 있고 시간이 있고 온콜을 돌릴 수 있을 때만.

개인이라면 미니 PC에 Ollama와 Open WebUI를 올려 월 0원으로 시작하라. 개발자라면 DeepSeek V4 Flash에 PII 가드레일을 붙여 GPT-4o급 성능을 1/35 가격으로 누려라.

무엇을 선택하든 반드시 지켜야 할 세 가지가 있다. PII 스크러버는 게이트웨이에 박고, 프롬프트 버전관리는 Git으로 하고, 비용 모니터링은 첫날부터 시작하라.

도구를 탓하지 말고, 제약 안에서 최선을 찾아라. 그게 엔지니어링이다.