차고에 수십억 원을 호가하는 최고급 페라리가 한 대 서 있다. 운전자의 미세한 표정과 도로의 미세한 균열까지 읽어내는 최첨단 자율주행 알고리즘도 탑재했다. 겉보기엔 완벽한 혁신의 결정체다. 하지만 막상 시동을 걸었을 때 연료탱크가 완전히 비어 있다면 어떻게 될까? 그 화려한 슈퍼카는 단 1센티미터도 전진하지 못하는 거대한 고철 덩어리에 불과하다.
지금 전 세계 비즈니스 현장에서 벌어지고 있는 생성형 AI 열풍의 서늘한 민낯이 바로 이와 같다.
“88%.”
금융권의 보수적인 공기를 누구보다 잘 아는 베테랑, 교보생명 장우경 상무가 단상에 올라 던진 이 숫자는 환상에 젖어 있던 기업들에게 던진 차가운 경고장이다. 수많은 기업이 야심 차게 돈을 쏟아부은 AI 프로젝트(PoC) 중, 실제 회사 시스템에 제대로 배포되어 살아남는 것은 단 12%에 불과하다. 임원 보고서 위에서는 언제나 100% 성공으로 포장되던 장밋빛 미래가, 냉정한 시장의 현미경 아래선 단 88%의 실패라는 처참한 성적표로 돌아오고 있는 것이다.
장 상무의 진단은 명확하다. 글로벌 조사기관 가트너의 예측대로 AI 전환을 준비하는 기업의 3분의 2는 결국 중도 하차할 것이며, 그 대가로 기업당 평균 800만 달러(한화 약 120억 원)에 달하는 막대한 비용을 허공에 날릴 운명이다.
이 거대한 실패의 원인은 인공지능 모델이 나빠서가 아니다. 페라리에 넣을 ‘연료’, 즉 ‘실시간 데이터’가 끊임없이 수급되는 파이프라인이 없기 때문이다. 아무리 비싼 인공지능과 멋진 대화형 화면(UI)을 갖추어도, 데이터가 실시간으로 흐르지 않으면 인공지능은 단 한 걸음도 움직이지 않는다.
데이터는 창고에 쌓아두는 골동품이 아니다
그동안 금융권을 지배해 온 데이터 철학은 철저히 ‘창고형’이었다. 거래 기록을 꼼꼼히 모아 안전하게 금고에 넣어둔 뒤, 한참이 지난 후에나 느긋하게 꺼내 분석하는 방식이었다. 장 상무는 이 낡은 관념을 정면으로 받아쳤다. AI 에이전트 시대의 데이터는 붙잡아두는 유물이 아니라, 끊임없이 살아 움직여야 하는 파이프라인이다. 사용자가 질문을 던진 즉시 유의미한 답변이 꽂히는 ‘실시간성’이 보장되지 않는다면 그 어떤 초거대 언어모델(LLM)도 무용지물에 불과하다.
실제 현장에서의 격차는 생각보다 훨씬 치명적이다. 국내 금융사의 대출 처리가 몇 분씩 걸릴 때, 글로벌 리딩 뱅크들은 밀리세컨드(ms, 1000분의 1초) 단위로 데이터를 나른다. 이 격차는 단순히 시스템 속도의 문제가 아니라, 데이터를 바라보는 철학의 차이에서 기인한다. 과거의 데이터가 ‘과거를 증명하는 영수증’이었다면, 이제는 실시간으로 시스템을 움직이는 ‘이벤트 트리거(Trigger, 방아쇠)’가 되어야 한다.
프랑스의 철학자 앙리 베르그송은
“존재한다는 것은 변화하는 것이고, 변화한다는 것은 성숙하는 것이다”라고 말했다.
데이터를 쌓아두기만 하는 기업은 고인 물과 같다. 흘러가지 않고 썩어가는 데이터 위에서는 그 어떤 영리한 AI 에이전트도 자율적으로 판단하고 실행할 수 없다. 데이터 창고를 부수고 실시간 파이프라인을 깔아야만, 비로소 개인의 업무 보조를 넘어 회사 전체를 움직이는 진짜 AI의 행동력이 시작된다.
수동 매뉴얼을 걷어내고 데이터 플로우의 자동화를 시작하라
직원 한 사람의 업무를 돕는 챗GPT 수준에서 벗어나 전사적인 AI 전환(AX)으로 넘어가기 위해서는 반드시 거쳐야 할 중간 단계가 있다. 바로 ‘데이터 흐름의 자동화’다. 많은 기업이 1단(개인 업무 보조)에서 곧바로 3단(전사 에이전트 도입)으로 도약하려다 시동을 꺼트린다. 수동 변속기 차량을 운전할 때 클러치 조작을 잘못하면 엔진이 멈춰 서듯, 중간의 자동화 연결고리 없이 급하게 이어 붙인 시스템은 반드시 끊어지기 마련이다.
장 상무는 사람 중심의 업무 순서(워크플로우)를 데이터 중심의 흐름(데이터 플로우)으로 치환하는 6가지 핵심 포인트를 제시했다. 기존 업무 프로세스의 행위점들을 잘게 쪼개고, 그 안에서 어떤 액션이 일어나는지, 어떤 시스템을 거치는지, 누가 방아쇠를 당기는지 정밀하게 분석해야 한다. 이 과정에서 가장 먼저 마주하는 적은 데이터의 흐름을 막아서는 단절들이다. 시스템이 스스로 하지 못해 사람이 중간에 개입하여 엑셀을 옮겨 붙이는 ‘매뉴얼 브리지(Manual Bridge)’가 대표적이다.
특히 기업 내부의 고질병인 부서 간 사일로(Silo, 장벽) 중 가장 심각한 것은 부서 장벽을 넘어선 ‘시스템 간의 단절’이다. 서로 다른 프로그램 안에 있는 데이터가 호환되지 않아 발생하는 단절을 파악하는 것이 급선무다. 데이터가 자동으로 흐르기 시작하면 사람이 개입할 일이 사라지고, 노련한 직원들의 머릿속에만 있던 노하우가 AI가 학습할 수 있는 깨끗한 ‘피처(Feature, 데이터 특징)’ 형태로 축적된다. 수십억짜리 기술을 외부에서 사 오는 것보다, 내부 직원들이 n8n이나 Make, Zapier 같은 자동화 툴을 활용해 직접 파이프라인을 설계하는 내재화 과정이 진짜 경쟁력이 되는 이유가 여기 있다.
파이프라인이 열리면 마침내 재무제표의 숫자가 움직인다
시장이 AI 에이전트에 그토록 열광하는 진짜 이유는 모델의 화려함 때문이 아니다. 그것이 가져다줄 압도적인 투자수익률(ROI) 때문이다. 12%의 생존자 그룹에 들어간 글로벌 금융사들은 이미 숫자로 자신들의 선택을 증명하고 있다. 미국의 결제 플랫폼 스트라이프(Stripe)는 단순히 기록만 하던 데이터를 실시간으로 흐르는 이벤트 스트리밍 형태로 전면 개편해 초고속 처리를 달성했다. 골드만삭스와 뱅크오브아메리카 역시 파이프라인에 대한 집요한 투자의 결실을 맛보고 있다. 이들이 시장에 던지는 메시지는 단 하나다. “데이터의 흐름이 먼저다.”
비즈니스의 역사는 언제나 혁신의 무덤 위에서 작성되었다. 2000년대의 프로세스 혁신(PI)은 절차에만 집착해 기술이 받쳐주지 못했고, 2010년대의 디지털 전환(DX)은 겉보기에 화려한 홈페이지나 앱 레이어에만 머물러 핵심 비즈니스를 건드리지 못했다. 결국 기업의 재무제표(P&L)를 바꾸는 데 실패했던 이유다. 그러나 지금의 AI는 기술과 프로세스 혁신을 동시에 타격할 수 있는 유일한 무기다.
그동안 기술 부서가 늘 들어야 했던 ‘돈만 쓰는 비용 센터(Cost Center)’라는 오명을 벗겨줄 기회가 마침내 도래한 것이다. 파이프가 열리면 일하는 방식이 바뀌고, 마침내 기업의 돈줄이 움직인다. 에이전트는 단순히 말 잘하는 똑똑한 챗봇이 아니다. 회사의 이익 구조와 자원 배분의 기준을 근본적으로 뒤흔드는 새로운 ‘운용 모델(Operating Model)’ 그 자체다.
당신의 회사는 비싼 매크로 프로그램을 또 사고 싶은가
장우경 상무의 냉정한 통찰은 결국 우리에게 하나의 질문을 던진다. AI 에이전트를 도입하겠다는 당신의 회사는, 진짜 살아 움직이는 데이터를 쥐고 있는가. 아니면 과거의 유물 같은 창고형 데이터 위에 화려한 AI 스티커만 붙이고 있는가.
만약 내일 아침 출근한 회의실에서 “우리 회사에 실시간 이벤트 API(시스템 간 연결고리)가 몇 개나 물려 있는지”, “데이터가 끊기는 문제를 해결할 파이프라인 책임자가 존재하는지”에 대해 아무도 답하지 못한다면 그 기업의 미래는 이미 정해진 거나 다름없다.
흐르지 않는 데이터 위에 세워진 AI 에이전트는, 과거 우리가 경험했던 수억 원짜리 ‘값비싼 RPA(단순 반복 매크로)’의 재림일 뿐이다. 환상에서 깨어나 데이터 파이프를 잡는 자만이, 88%의 무덤을 피해 위대한 12%의 생존자 영역으로 걸어 들어갈 수 있다.
