AI 도입 비용, 솔직히 얼마나 들까?

"AI 솔루션 도입하시죠. PoC에 3,000만원입니다."

중소기업 대표라면 한 번쯤 들어봤을 컨설팅 업체의 전형적인 제안이다. 듣는 순간 드는 생각: "3,000만원? 효과가 있을지도 모르는데?"

실제로 PoC가 끝나고 본 도입까지 가는 중소기업은 10%도 안 된다. 대부분 PoC 단계에서 "생각보다 비싸네" 하면서 접는다.

현실은 다르다. 월 50만원이면 시작할 수 있다. 진짜다.


실제 비용 분해 — 월 50만원의 실체

중소기업(직원 50명, ERP 사용 중) 기준, AI 에이전트 1개 도입 시 월 예상 비용을 낱낱이 까본다:

항목월 비용비고
LLM API15~30만원DeepSeek pro 기준 15~25만원. OpenAI GPT-4o mini는 30~40만원. 선택에 따라
벡터 DB (ChromaDB)0원자체 서버 활용. 오픈소스
임베딩 모델 (bge-m3)0원Ollama 로컬 실행. GPU 없이 CPU만으로 가능
서버 인프라5~10만원기존 서버 유휴 자원 활용 시 0원. 클라우드 소형 인스턴스
운영 인력0~20만원기존 IT팀 역량에 따라. 초기 셋업 2주
합계20~60만원/월컨설팅 PoC 3,000만원이면 50개월 운영 가능한 금액

실제 사례: 월 40만원으로 월 200시간을 아낀 회사

경기도 소재 A사(전자부품 유통, 직원 45명)는 ERP에 전표 자동 분류 AI를 붙였다. 초기 셋업 비용은 0원. 이미 있던 Linux 서버에 Docker로 올렸다.

A사는 LLM 선택에서 고민이 있었다. IT팀장은 이렇게 말했다: "DeepSeek이 가장 싸다는 건 알겠는데, 중국 기업이다 보니 임직원들이 데이터 보안에 민감하더라고요. 그래서 처음엔 GPT-4o mini로 시작했다가, 한 달 지나고 비용 분석해보니 DeepSeek pro로 옮겼어요. 결론은 '써보고 판단하자'였죠."

첫 달 비용: 38만원. (DeepSeek pro 기준. GPT-4o mini로 했으면 약 55만원)

돌아온 것:

  • 경리팀 2명이 하던 전표 분류·승인 → AI가 자동 분류, 사람은 이상 건만 검토
  • 월 200시간의 수작업 → 20시간으로 감소
  • 야근 70% 감소
  • 회계 오류(계정과목 오기입 등) 연 12건 → 0건

CFO의 한 마디: "월 38만원이면 경리팀 막내 월급의 1/6이에요. 어떤 LLM을 쓰든 그보다 중요한 건 '시작했냐'는 거죠."


LLM 선택 — "싸다"와 "호불호" 사이에서

비용의 70%는 LLM API에서 발생한다. 그래서 어떤 모델을 쓰느냐가 전체 예산을 좌우한다. 선택지별로 솔직하게 정리했다:

LLM월 비용 (200호출/일)장점단점
DeepSeek pro15~25만원가격 대비 성능 최상. 한국어 양호중국 기업 이슈. 일부 기업 보안정책과 충돌
DeepSeek flash3~5만원극강의 가성비. 단순 작업에 충분복잡한 추론은 부족. pro와 동일한 출처 이슈
GPT-4o mini30~40만원글로벌 표준. 보안 우려 없음DeepSeek 대비 2~3배 비쌈
Claude Haiku25~35만원문서 이해 강점. 기업용 신뢰도한국어 일부 약함
sLLM (자체 구축)0원 (API 비용)데이터 주권 100%. 보안 감사 통과초기 구축 500만원+. GPU 서버 필요. 성능은 클라우드 LLM보다 낮음