기업당 평균 AI 지출 1,270억 원. 그런데 투자 대비 수익을 자신 있게 말할 수 있는 경영진은 29%뿐이다. 나머지 48%는 "대실망"이라고 답했다. 숫자가 말해준다 — AI 예산은 늘었는데, 예산을 잘 쓰는 법은 아직 모른다는 뜻이다. 이 글은 그 29%의 플레이북을 분석한다.
AI 예산, 어디서 새고 있나
대부분의 AI 사업계획서에는 한 가지 비용만 들어 있다. 툴 라이선스. ChatGPT Enterprise, Copilot, Claude 팀 플랜 같은 항목이다. 그런데 CTAIO가 2026년 발표한 엔터프라이즈 분석에 따르면, 툴 라이선스는 전체 AI 비용의 10~20%에 불과하다. 나머지 80~90%는 어디로 갈까.
숨은 비용 목록은 이렇다. 하나씩 보면 '아, 맞다' 싶은 항목들이다.
- 프로덕션 추론 비용 — 파일럿 단계에서 하루 5번 돌리던 AI가 실제 운영에 들어가면 하루 500번, 5,000번 호출된다. 추론 비용이 파일럿의 10~20배로 뛰는 건 순식간이다.
- 엔지니어링·통합 비용 — RAG 인프라 구축, 프롬프트 엔지니어링, 기존 ERP·그룹웨어와의 연동. 1년차에 가장 큰 비용 항목이며, 툴 라이선스의 2~3배에 달한다.
- 거버넌스·보안 — 레드팀 테스트, 컴플라이언스, 모니터링 체계. 금융·제약 같은 규제 산업은 전체의 5~10%.
- 변화관리·도입 비용 — 직원 교육, 워크플로 재설계, 내부 챔피언 육성. 이 항목이 실패한 AI 프로그램의 80%에서 예산 부족으로 진단됐다. CTAIO는 "전체 예산의 10~20%를 반드시 배정하라"고 권고한다.
MIT 2025 연구의 결론은 간단하다. 엔터프라이즈 AI 프로그램의 실제 비용은 처음 추정치의 3~5배다. $10만으로 시작했다면 $30~50만은 각오해야 한다. 이걸 모르고 시작한 프로젝트가 바로 그 95% 실패율의 주인공들이다.
돈을 어디에 쓸까 — 3티어 포트폴리오
MEFAI가 Deloitte 2026 보고서를 인용해 제시한 AI 투자 우선순위 프레임워크다. 모든 곳에 AI를 뿌리지 말고 3단계로 쌓아 올리라는 전략이다.
티어 1: 고빈도 트랜잭션 워크플로 — 고객 응대, 데이터 입력, 클레임 처리. ROI가 가장 빠르고 측정도 쉽다. 베이스라인이 명확하고 건수가 많으니 Before/After 수치가 바로 나온다. 여기서부터 시작하라.
티어 2: 지식 노동 — 리서치, 분석, 문서 작성. 생산성과 품질로 ROI가 나오지만 측정은 까다롭다. 가장 비싼 인력의 시간을 줄여주므로 영향은 크다. 티어 1이 안정화된 다음 확장하라.
티어 3: 복잡한 의사결정 지원 — 사기 탐지, 리스크 평가, 공급망 최적화. 잠재 수익은 가장 크지만 복잡도와 소요 기간도 최대다. 조직의 AI 성숙도가 확보된 후에만 투자하라.
PwC의 조사는 한 방 더 날린다. AI 프로젝트 가치의 80%는 기술이 아니라 업무 재설계에서 나온다. 기술이 20%라는 얘기다. 그런데 대부분 기업은 AI 예산의 90% 이상을 기술에 쏟아붓고 있다. MEFAI의 권고는 명확하다: "AI 투자의 최소 25%를 인력 교육·변화관리에 배정하라."
어떤 프로젝트를 먼저 할 것인가
CIO Korea가 2025년 말 제시한 평가 프레임워크는 실용적이다. "반복적이고 문서화가 잘되어 있지만 여전히 사람이 직접 처리하는 업무 10가지"를 먼저 찾아내라. 그다음 각각을 3가지 기준으로 1~10점 평가한다.
- 자동화 영향도 (높을수록 좋음) — 이 프로세스를 자동화했을 때 절감되는 시간·비용
- 실패 시 위험도 (낮을수록 좋음) — AI가 틀렸을 때의 피해 규모
- 구축·배포 난이도 (낮을수록 좋음) — 연동할 시스템 개수, 데이터 준비 상태
영향도는 높고 위험도·난이도는 낮은 조합에 먼저 자원을 집중하라는 전략이다. "홈런 대신 안타와 2루타"를 노리라는 CIO Korea의 표현이 정확하다.
또 하나. CTAIO는 킬 기준을 사전에 설정하라고 강조한다. 다음과 같은 신호가 나오면 과감히 프로젝트를 중단하는 기준이다.
- 전면 확장 타임라인이 6개월 이상 계속 밀릴 때
- 요구 정확도와 실제 모델 정확도 간 격차가 해결 불가능할 때
- 벤더의 미발표 가격 인하에 경제성이 의존할 때
이 기준을 세워두는 것 자체가 가장 높은 ROI를 내는 결정이다. 실패한 프로젝트에 계속 돈을 붓는 일을 막아주니까.
ROI 측정, 정직한 공식 하나면 충분하다
CTAIO가 제시한 정직한 공식은 단순하다.
ROI = 연간 편익 ÷ 연간 총비용
단, 여기에 두 가지 할인을 적용해야 한다.
- 도입률 할인 — "전 직원이 쓸 거야"라는 가정은 거짓말이다. 실제 도입률 25%에 그친 사례가 부지기수다.
- 시간 절감 정확도 할인 — "한 건당 10분 절감"이 실제로는 4분일 수 있다. 파일럿 측정치는 항상 과대평가된다.
실전 경험칙은 이렇다. 냅킨에 끄적였던 ROI를 3으로 나누고, 그 상태에서도 18개월 내 투자 회수가 가능한지 확인하라. 안 되면 사업계획서를 다시 써야 한다.
HowtoAI가 2026년 3월 정리한 7단계 측정 프레임워크도 참고할 만하다.
- 비즈니스 목표 정의 + KPI 설정 (예: "고객 응대 비용 15% 절감")
- AI 도입 전 베이스라인 측정 (현재 비용·시간·오류율)
- 운영 데이터·성과 데이터 통합 수집
- 측정 모델 선택 (단순 ROI, NPV, IRR 중 선택)
- 위험 요소 반영 (데이터 편향, 정확도 변동)
- 주기적 모니터링·대시보드
- 피드백 → 전략 조정 → 다음 투자 결정
여기서 핵심은 2번이다. 도입 전 베이스라인이 없으면 AI가 뭘 개선했는지 영원히 증명할 수 없다.
돈이 된 AI, 실제 사례 3건
이론만으로 설득하기 어렵다. 구체적인 금액과 함께한 실제 사례를 보자.
제약회사 — 이상반응 보고 자동화
CIO Korea가 보도한 사례다. 한 제약회사에서 의약품 이상반응 보고 처리를 AI 에이전트로 자동화했다. 기존에는 전문 인력이 건당 20~30분씩 투입하던 업무였다. 도입 후 팀 전체 업무 시간 40% 절감. 절감된 시간은 신약 개발 R&D로 재배치됐다. AI 비용은 월 $500 수준이었고, 절감된 인건비는 연간 $18만 이상으로 추산된다.
금융사 — AI 사기 탐지
HowtoAI가 리포트한 글로벌 금융 서비스 기업의 사례. AI 기반 사기 탐지 시스템을 도입한 지 6개월 만에 사기 피해액 25% 절감, 탐지 정확도 90% 이상을 달성했다. 단순 ROI는 120%. 더 큰 수확은 비재무적 영역에서 나왔다. 고객 신뢰도가 상승하면서 시장 점유율이 3% 상승한 것이다.
개발팀 — Copilot 도입 ROI
CTAIO의 현장 데이터에 따르면, 적극적으로 사용한 개발팀의 Copilot ROI는 3개월 내 투자 회수가 가능했다. 월 $10~30의 비용으로 주당 5~8시간의 생산성 향상이 측정됐다. 단, "도입했다고 다 쓰는 게 아니다"라는 교훈이 함께 나왔다. 일반 지식 노동자 대상 롤아웃에서는 도입률이 정체되면서 ROI가 "없음"으로 판정난 사례도 다수였다.
이 사례들의 공통점은 분명하다. 구체적인 베이스라인을 먼저 측정했고, AI 도입 전후를 수치로 비교했으며, 기술보다 업무 프로세스 재설계에 공을 들였다는 점이다.
2026년 하반기, 당신의 첫걸음
지금까지의 내용을 실전 로드맵으로 압축하면 이렇다.
- 예산의 25%를 변화관리에 배정하라. 기술 라이선스 비용만 책정한 예산은 95% 실패율에 합류하는 지름길이다.
- "10가지 수작업 프로세스" 리스트를 뽑아라. 영향도·위험도·난이도 3축으로 평가하고, 점수가 가장 좋은 1~2개부터 시작하라.
- AI 도입 전 베이스라인을 수치로 기록하라. 처리 시간, 오류율, 건당 비용, 담당 인원. 이게 없으면 6개월 후에 "AI가 도움이 됐다"는 말 외에는 할 수 있는 게 없다.
- 냅킨 ROI ÷ 3 → 18개월 회수 가능 여부로 검증하라. 통과하면 진행. 실패하면 더 좋은 사용례를 찾거나 범위를 줄여라.
- 킬 기준을 문서화하라. 6개월 지연, 정확도 격차, 벤더 의존. 셋 중 하나라도 해당되면 과감히 중단한다.
2026년 하반기는 AI 예산이 가장 크게 증가하는 동시에, ROI 입증 압박이 가장 거센 시기가 될 전망이다. MEFAI의 표현을 빌리자면, "기술은 준비됐다. 배포 접근법이 준비되지 않았을 뿐이다." 냅킨에 적은 ROI를 3으로 나누는 용기. 그 용기가 29%에 드는 출발점이다.