Case Study Insight
Insight AX 전략 엔터프라이즈 AI

MIT가 말한 95% 실패의 진짜 이유
도구를 산 회사와 워크플로우를 다시 그린 회사의 차이

MIT NANDA가 발표한 한 보고서가 업계를 흔들었습니다. 기업이 도입한 GenAI 파일럿 100개 중 95개가 손익에 한 푼도 잡히지 않았다는 결론. 이 글은 그 95%가 어디서 무너지는지, 살아남은 5%가 무엇을 다르게 했는지를 6분 안에 풀어봅니다.

95개 · ROI 측정 불가 5개 · 실제 ROI 발생
0%
ROI 0원에 그친
기업 GenAI 파일럿 비율
MIT NANDA Initiative
0%↑
Sales · Marketing에 쏠린
AI 예산 비중
MIT NANDA Initiative
0배
외부 파트너 도입의
내부 자체 구축 대비 성공률
MIT NANDA Initiative
01
Chapter 1 — 95%가 사라졌다는 그 데이터

파일럿 100개 중 95개가 ROI 0원이었습니다

MIT NANDA가 300곳 이상의 기업 AI 도입 사례를 6개월 추적해 내린 결론은 한 줄입니다. "조직의 95%가 생성형 AI에서 측정 가능한 손익 효과를 보지 못했다." 모델이 작동하느냐, 사용자 수가 늘었느냐가 아니라 — 손익계산서에 잡혔느냐만 물은 결과입니다.

Figure 01 · The GenAI Divide
기업 GenAI 파일럿 100개 중 ROI를 만든 건 단 5개
Only 5% 95개 — ROI 측정 불가 (P&L 영향 0) 5개 — 실제 ROI 발생
출처: MIT NANDA Initiative — GenAI Divide 보고서 (300+ 기업 AI 도입 사례 조사 기반).
!
핵심 관찰
"AI를 도입했다"와 "AI로 돈을 벌었다"는 다른 질문입니다. 95%가 첫 번째는 했지만 두 번째는 못 했다는 게 이 보고서의 핵심입니다.

현장에서 마주한 95%의 모습

2026년 여름, 첫 미팅
"저희 ChatGPT Enterprise 라이선스 200석 깔았어요."
제가 조심스럽게 여쭤봤습니다 — "그래서 어떤 업무 시간이 줄었나요?" 침묵이 흘렀고, 나중에 답이 왔습니다. "잘 모르겠습니다. 직원들이 잘 쓰고는 있는 것 같은데…" 그게 95%의 모습이었습니다.
02
Chapter 2 — 도구를 산 회사들이 놓친 것
매번 처음부터 다시 입력 DAY 1 · 월 ⚠ "우리는 X업종, 핵심제품 A, 정책 B…" "보고서 작성해줘" DAY 2 · 화 ⟲ "우리는 X업종, 핵심제품 A, 정책 B…" "보고서 작성해줘" DAY 3 · 수 ⟲ "우리는 X업종, 핵심제품 A, 정책 B…" "또 보고서 작성"
PATTERN 01
제너릭 도구는 회사를 학습하지 않습니다
개인 ChatGPT의 강점은 유연성. 그런데 그 유연성이 기업에서는 약점이 됩니다. 회사의 워크플로우와 용어를 학습·적응하지 못하니, 매번 처음부터 컨텍스트를 입력해야 합니다.
SALES · MARKETING 예산 50%↑ 📣 마케팅 ↓ ROI 12% ↕ 정반대 BACK OFFICE 예산 ~9% 📒 백오피스 ROI 38%
PATTERN 02
예산은 마케팅에, ROI는 다른 곳에서
예산의 50%+가 영업·마케팅에 가는데 실제 측정 가능한 ROI는 백오피스 자동화에서 발생합니다. 정작 돈은 회계·구매·HR에서 빠지고 있는 거죠.
INTERNAL 본업1 본업2 기타 AI 도입 33% 진척 멈춤 EXTERNAL AI 도입 FOCUS · 본업 67% 달성 두 배 차이 · 외부는 본업이라 멈추지 않음
PATTERN 03
내부 구축 = 외부 파트너의 1/3 성공률
외부 파트너십은 약 67% 성공률, 내부 자체 구축은 33%. 외부는 그게 본업, 내부는 본업이 따로 있어서 진척이 멈춥니다.
⊘ QUARTERLY · 분기 단위 모델 무너짐 Q1 Q2 Q3 Q4 💥 → 3개월간 감지 못함 VS ⚡ HOURLY · 시간 단위 실시간 감지 → 1H 전 알람 ✓
PATTERN 04
데이터 품질을 '시간 단위'로 봐야 합니다
전통적 데이터 품질 검증은 분기·연 단위. 그런데 운영 환경 AI는 시간 단위 데이터 품질 신호가 필요합니다. 어제 잘 돌던 모델이 오늘 무너지는 건 1시간 전 변화 때문이거든요.

예산은 어디로 가고, 돈은 어디서 빠지나

Figure 02 · The Iceberg Effect
눈에 보이는 자리에 예산을, 보이지 않는 자리에서 절감을
눈에 보이는 곳 화려한 챗봇, 마케팅 AI, CX 봇… → AI 예산의 50%↑가 여기로 보이지 않는 곳 회계 마감 · 구매 발주 · HR 행정 데이터 정합성 · 보고서 정리 → 측정 가능한 ROI의 약 38%가 여기서 THE TWIST ~9% 예산만 받지만 ROI는 38%
출처: MIT NANDA "GenAI Divide" 보고서가 제시한 AI 예산-ROI 미스매치 결론을 빙산 메타포로 재구성. 비율은 보고서가 제시한 정성적 우선순위 기반.

한국 중소기업의 AI 도입률은 5.3%, 제조업은 1% 안팎. 그 미미한 도입조차 챗봇 수준에 머물러 있는데, 정작 돈은 다른 곳에 있다는 게 이 데이터의 메시지입니다.

AI 모델이 운영 환경에서 신뢰할 수 있으려면, 데이터 품질을 분기 단위가 아니라 시간 단위로 모니터링해야 합니다. 이 격차를 메우는 회사가 2026년 가치를 뽑아낼 회사들입니다. — GenAI Divide 보고서 후속 분석 요약 (2026.2)
03
Chapter 3 — 5%가 다르게 한 것

살아남은 회사들의 다섯 가지 공통점

화려하지 않습니다. 답답할 정도로 평범한 원칙들이지만, 95%가 못 한 일이라는 점에서 그게 격차의 정체입니다.

01
도구를 사기 전에 워크플로우를 그렸다
"어떤 AI를 살까"가 아니라 "어디가 막혀 있나"부터. 평균 3~6주 현장 관찰과 병목 매핑 위에 도구를 얹었습니다.
02
백오피스부터 시작했다
회계·구매·HR·보고서·데이터 정합성. "돈이 절약되는 위치""돈을 쓰고 싶은 위치"가 다르다는 걸 알고 있었습니다.
03
외부 파트너에게 맡겼다 (단, 제대로 된 파트너)
강의·진단 후 떠나는 게 아니라 구축·운영까지 함께 가는 파트너. 외부에는 그게 본업이고 멈추지 않으니까요.
04
P&L 지표로 ROI를 정의했다
"사용자 수"나 "만족도"가 아니라 "인건비 X시간 절감 = Y원"처럼 손익에 잡히는 숫자. 이게 안 되면 자동으로 95%에 들어갑니다.
05
데이터 파이프라인을 시간 단위로 모니터링했다
무거운 거버넌스가 아니라 작은 알람과 자동 점검 루틴이 핵심이었습니다.

결국 도구가 아니라 '순서'의 문제였습니다

Figure 03 · The 95% vs The 5%
실패한 회사와 살아남은 회사의 접근 순서
실패한 95% "도구부터 사고 적용은 나중에" 01 · 도구 선정 "ChatGPT vs Claude" 02 · 라이선스 구매 "전사 200석 도입" 03 · 일회성 교육 "2시간 사용법 강의" 04 · 자율 사용 "각자 알아서 활용" ✕ ROI 측정 불가 95% 도달 지점 살아남은 5% "병목부터 보고 도구는 마지막에" 01 · 현장 진단 "3~6주 병목 매핑" 02 · 백오피스 우선 "보이지 않는 일부터" 03 · 파트너 구축 "외부 + 내부 함께" 04 · P&L ROI "손익 숫자로 검증" ✓ ROI 발생 5% 도달 지점
동일한 도구를 쓰더라도 어디서 시작하느냐에 따라 결과는 정반대입니다.

제가 AX 도입 현장에 들어가면 도구 추천이 아니라 사람들의 하루 일과부터 따라갑니다. 무엇을 켜고, 어떤 화면을 띄우고, 어디서 막혀서 옆 자리에 묻는지를 보고 나서야 도구 이야기를 시작합니다. 이 순서를 지키지 않으면 — 우리도 95%에 합류합니다.

결론
"AI를 쓰는 것"과 "AI로 돈을 버는 것"은 다른 일입니다. 후자는 도구가 아니라 워크플로우의 문제고, 그 워크플로우를 다시 그릴 수 있는 사람이 옆에 있느냐의 문제입니다.
95%와 5%의 차이는
똑똑한 도구가 아니라, 제대로 된 순서였습니다.
— 도구를 사기 전에, 어디가 막혀 있는지부터 봐야 합니다.
95%로 갈지, 5%로 갈지
병목 진단부터 시작하세요
현장 진단부터 시작·ROI 검증 후 잔금 청구