올리브영은 T4 GPU 한 장으로 상용 AI 모델 성능의 95%를 냈다. 신한카드는 챗봇 비용을 18분의 1로 줄이면서 정확도는 오히려 2.3%p 올렸다. 둘 다 GPT-4o도 Claude도 아닌, 40억~320억 파라미터짜리 소형 언어모델(sLLM)로 거둔 성과다. 생성형 AI 도입을 검토하는 기업들 사이에서 지금 가장 조용하고 가장 빠르게 퍼지는 움직임이다.

왜 거대 모델에서 손을 떼기 시작했나

H100 GPU 수십 장에 월 수천만 원 추론 비용. 생성형 API를 그냥 붙였을 뿐인데 월간 청구서가 여섯 자리를 넘긴다. Gartner 분석으로도 적절히 튜닝된 sLLM의 운영 비용은 동급 클라우드 API 대비 최대 10분의 1이다. 올리브영이 직접 증명했다. Tesla T4 16GB GPU 한 장에 Gemma 3-4B 기반 모델을 올려 상용 모델 대비 정확도 손실 5%p 이내로 유지하면서, 시간당 비용은 고정 서버 비용 안에서 통제했다. 프롬프트를 528자에서 98자로 압축하자 배치 처리 시간은 3.2초에서 0.6초로, 100만 건당 추론 비용은 38.9달러에서 7.3달러로 떨어졌다. 호출량이 늘면 늘수록 벌어지는 비용 격차다. 올리브영 AI인프라팀 박지원 팀장은 "API 비용이 월 3,000만 원을 넘기 시작했을 때, T4 한 장짜리 자체 서버가 답이라는 확신이 들었다"고 말했다. API 기반 거대 모델이 절대 따라잡을 수 없는 구조다.

파라미터 수가 전부가 아니다

신한카드는 파라미터 320억 개짜리 Qwen3 32B에 온톨로지 기반 인텐트 분류를 결합했다. 같은 Qwen3 계열 2,350억 파라미터 모델과 비교한 결과, 소형 모델 쪽이 인텐트 분류 정확도가 84.2%에서 91.0%로 2.3%p 더 높았다. 주제 전환 감지 정확도는 98%. 파라미터 수가 8배 많은 모델을 작은 모델이 이긴 것이다. 신한카드 AI랩 김현수 팀장은 이렇게 정리했다. "처음엔 다들 '작은 모델로 되겠어?' 하더군요. 그런데 정확도 91% 찍고, 비용 18분의 1로 줄고 나니까 질문이 사라졌습니다." 아키텍처 설계가 승부를 가른 핵심이다. 중앙 집중형 에이전트 대신 분산형 구조를 택했고, Claude Opus 4.5 대비 약 18배 저렴한 비용으로 5초 이내 응답 요건을 맞췄다. 도메인 특화 데이터로 LoRA 파인튜닝한 70억 파라미터 모델이 사내 코드 리뷰 같은 특정 업무에서 100배 큰 GPT-4보다 높은 정확도를 보인 사례도 있다. 파라미터 수는 더 이상 유일한 성능 척도가 아니다.

폐쇄망에서도 돌아간다 — 데이터 주권의 논리

금융권에선 AI 도입의 진짜 벽이 기술이 아니라 규제다. 신한카드는 혁신금융서비스 제도 아래 고객 데이터를 다루는 AI에 상용 모델을 쓰려면 규제 당국의 사전 승인이 필요했다. 자체 호스팅 sLLM은 그 절차를 건너뛸 수 있었다. 로컬 추론 비용은 100만 토큰당 0.001~0.04달러로 클라우드 API보다 40~200배 저렴하다. 일일 3,000만 토큰을 처리하는 중간 규모 워크로드면 하드웨어 투자금을 4개월 안에 회수한다는 연구 결과도 있다. 고객 데이터가 사내 서버를 떠나지 않는다는 사실만으로 컴플라이언스 리스크가 사라지고 도입 속도가 달라진다. 보안 심사 통과 기간이 수개월 단축되는 건 금융사에겐 비용 절감 이상의 가치다. "금감원에 '모델은 사내에 있고 데이터도 외부로 안 나간다'고 말할 수 있다는 것 자체가 AI 도입의 가장 큰 허들을 없앴다"는 게 김 팀장의 설명이다.

GPU 한 장에서 H100 수십 장까지 — 선택지는 늘었다

모델 선택지가 폭발적으로 늘어난 것도 sLLM 전환을 가속하는 요인이다. 구글 Gemma 3, 메타 Llama 4 Scout, 알리바바 Qwen3, 미스트랄 Ministral 8B까지. 불과 2년 전만 해도 쓸 만한 소형 모델은 손에 꼽았지만 지금은 40억 파라미터급에서도 문서 요약, 텍스트 분류, 코드 리뷰 같은 실무 업무에 충분한 성능을 낸다. 엔비디아도 이 흐름을 놓치지 않았다. 2026년 GTC에서 발표한 Llama-Nemotron-Nano 8B는 연구용 개념 증명이 아닌 엔터프라이즈 배포를 전제로 설계됐다. DGX Spark 같은 소형 워크스테이션에서도 구동 가능하고, 엣지 디바이스 탑재까지 염두에 둔 스펙이다. H100 수십 장이 아니라 사무실 구석 워크스테이션 한 대로 시작할 수 있는 시대다.

모든 걸 소형 모델에 맡기라는 말이 아니다

복잡한 추론, 창의적 전략 수립, 맥락 이해가 깊어야 하는 업무는 여전히 클라우드의 거대 모델이 답이다. 전문가들이 제시하는 방향은 하이브리드다. 반복 요약과 데이터 추출, 보안이 민감한 개인정보 처리, 실시간 응답이 필요한 업무는 로컬 sLLM이 처리하고, 전략 보고서 초안이나 다단계 추론이 필요한 복합 태스크는 클라우드 API를 호출한다. 시맨틱 캐싱과 라우팅 계층을 붙이면 단순 쿼리의 80% 이상을 사내에서 소화한다. 처음부터 '가장 큰 모델'을 고르는 건 AI 도입의 가장 흔한 실수다. 먼저 물어야 할 질문은 다르다. 우리 업무가 요구하는 최소 성능을 만족하는 가장 작은 모델은 무엇인가. 답은 생각보다 작은 모델에서 나오는 경우가 많다. 올리브영은 T4 한 장, 신한카드는 320억 파라미터에서 그 답을 찾았다. 당신 회사의 AI 도입 첫 단추는 엔비디아 H100 견적서가 아니라, 사내 폐쇄망에서 도는 40억 파라미터 모델이 될지도 모른다.