"우리 회사도 AI 솔루션을 도입했는데, 정작 직원들이 안 쓰네요."
수억 원을 들여 AI 플랫폼을 구축했지만, 현장에서는 외면받는 사례가 부지기수입니다. 대기업 AI 도입의 가장 큰 걸림돌은 기술이 아니라 '직원들이 실제로 쓰게 만드는 것'입니다.
글로벌 금융사 JP모건은 이 난제를 2년 만에 풀어냈습니다. 2024년 여름 내부 AI 플랫폼을 출시한 뒤, 8개월 만에 20만 명의 직원이 자발적으로 사용하기 시작했고, 현재는 전체 직원의 60% 이상이 매일 이 도구를 활용합니다.
JP 모건의 AI 도입 성공 비결은 무엇이었을까요?
2년 만에 이룬 60% AI 입률의 비밀
바이럴처럼 퍼진 AI 플랫폼
JP모건의 AI 여정은 2023년 ChatGPT 출시 직후 시작됐습니다. 당시 대부분의 기업들이 관망하는 분위기였지만, JP모건 최고분석책임자를 비롯한 기술팀은 즉시 내부 AI 플랫폼 개발에 착수했습니다.
2024년 여름, 'LLM Suite'라는 이름의 AI 어시스턴트 플랫폼이 출시됐습니다. 회사 측은 "얼마나 많은 직원이 사용할지 확신할 수 없었다"고 밝혔지만, 결과는 예상을 뛰어넘었습니다.
출시 후 몇 개월 만에 사용자가 0명에서 25만 명으로 급증했습니다. 직원들은 단순히 프롬프트를 작성하는 수준을 넘어, 자신의 업무에 맞춘 맞춤형 AI 어시스턴트를 직접 설계하고 공유하기 시작했습니다.
관계자는 "이렇게 바이럴처럼 확산될 줄 몰랐다"며 "직원들이 내부 플랫폼에서 서로의 활용법을 공유하면서 혁신의 선순환이 만들어졌다"고 설명했습니다.
검증된 성과
현재는 영업, 재무, 기술, 운영 등 전 부서에 걸쳐 60% 이상의 직원이 매일 이 플랫폼을 사용하고 있으며, 거의 절반의 직원이 AI 도구를 일상적으로 활용합니다.
JP모건의 AI 전환 성과는 업계에서도 인정받았습니다. 2025년에는 업계 권위지 American Banker로부터 '올해의 혁신상 대상'을 수상했습니다.
성공 요인 ① 모델이 아닌 '연결성'에 투자
"AI 모델은 곧 상품화될 것이다"
JP모건의 성공은 초기 단계의 전략적 선택에서 비롯됐습니다. 대부분의 기업이 '어떤 AI 모델을 쓸 것인가'에 집중할 때, JP모건은 정반대 결정을 내렸습니다.
JP모건은 출시 초기부터 "AI 모델 자체는 결국 누구나 쓸 수 있는 범용 기술이 될 것"이라고 예측했습니다. 대신 기업이 진짜 투자해야 할 부분은 AI와 기업 시스템 간의 연결성이라고 판단했습니다.
관계자는 "만약 슈퍼인텔리전스가 내일 당장 나타난다 해도, 그것이 기업의 시스템, 데이터, 도구, 프로세스에 연결되지 못한다면 최적의 가치를 뽑아낼 수 없다"고 강조했습니다.
전사 시스템과의 통합
JP모건은 초기부터 '검색 증강 생성(RAG)' 기술에 투자했고, 현재 4세대 버전까지 발전시켰습니다. 이 플랫폼은 단순한 챗봇이 아니라, 기업 전체의 데이터 생태계와 연결된 '완전한 시스템'입니다.
직원들은 AI를 통해 다음과 같은 시스템에 직접 접근할 수 있습니다:
CRM, HR 시스템
거래 및 재무 데이터
리스크 관리 시스템
문서 저장소 및 지식 데이터베이스
매달 새로운 연결이 추가되면서, 직원들이 활용할 수 있는 데이터와 기능이 계속 확장되고 있습니다.
모델 중립적 설계
JP모건은 특정 AI 모델에 종속되지 않도록 OpenAI와 Anthropic의 모델을 함께 통합했고 8주마다 최신 버전으로 업데이트합니다. 이를 통해 벤더 종속 리스크를 줄이면서도 항상 최신 기술을 활용할 수 있는 구조를 만들었습니다.
성공 요인 ② 직원들이 직접 만드는 '나만의 AI'
"한 플랫폼, 수천 가지 활용법"
JP모건의 두 번째 성공 요인은 '직원 주도 혁신'입니다. 회사는 표준화된 AI 도구를 하향식으로 배포하는 대신, 직원들이 스스로 필요한 기능을 조합해 사용할 수 있는 '빌딩 블록' 방식을 택했습니다.
영업팀, 투자은행팀, 리스크팀의 업무는 완전히 다릅니다. JP모건은 이 차이를 인정하고, 각 직원이 자신의 역할에 맞는 AI 도구를 직접 설계할 수 있도록 했습니다.
극적인 생산성 향상
투자은행 부서의 직원은 이제 5페이지 분량의 투자 제안서를 30초 만에 작성합니다. 이전에는 주니어 애널리스트가 수 시간을 들여야 했던 작업입니다.
자산관리 부서는 시장 변동성이 높은 시기에 'Coach AI'를 활용해 고객에게 실시간으로 맞춤형 조언을 제공합니다. 2025년 4월 시장 급변동 시기에 이 도구는 빠른 리서치 제공과 맞춤형 가이던스로 큰 효과를 발휘했습니다.
내부 플랫폼에서의 지식 공유
직원들은 자신이 만든 AI 어시스턴트와 활용 노하우를 내부 플랫폼에 공유합니다. 한 부서에서 성공한 사례가 다른 부서로 빠르게 확산되면서, 조직 전체가 함께 진화하는 '혁신 플라이휠'이 작동하고 있습니다.
관계자는 "우리에게는 깊이 뿌리내린 혁신 문화가 있다"며 "직원들에게 쉽고 강력한 도구를 계속 제공하면, 그들이 스스로 다음 단계의 혁신을 만들어낸다"고 말했습니다.
성공 요인 ③ 탑다운 리더십과 바텀업 혁신의 조화
CEO의 적극적 지원
JP모건의 AI 전환은 최고경영자의 강력한 의지와 현장의 자발적 혁신이 만나 만들어진 결과입니다.
JP모건 CEO는 2023년 주주서한에서 "AI의 영향력은 지난 수백 년간의 주요 기술 발명만큼 변혁적일 것"이라고 선언했습니다. CEO 본인이 AI 도구를 헤비하게 쓰는 사용자로 알려져 있으며, 2025년 7월 경영진 워크숍에서도 AI가 핵심 의제로 다뤄졌습니다.
막대한 투자
이런 의지는 구체적인 투자로 이어졌습니다. JP모건은 2025년 기준 연간 180억 달러를 기술에 투자하고 있으며, 이는 많은 기술 기업들보다 높은 수준입니다.
2,000명 이상의 AI/머신러닝 전문가를 보유하고 있고, 현재 450개 이상의 AI 활용 사례가 운영 중입니다.
측정 가능한 성과
JP모건은 AI 도입으로 연간 30-40%의 투자수익률(ROI) 증가를 기록하고 있습니다. 단순한 비용 절감을 넘어, 새로운 수익 창출과 고객 만족도 향상으로 이어지고 있다는 평가입니다.
다만 JP모건은 솔직하게 인정합니다. 운영 부서 인력은 향후 최소 10% 감소할 것으로 예상됩니다. AI 도입은 단순한 도구 추가가 아니라, 조직 구조 자체를 변화시키는 변혁이기 때문입니다.
한국 기업이 AI 도입을 위해 배워야 할 점
JP모건의 사례는 한국의 레거시 기업들에게 세 가지 인사이트를 줍니다.
기술 스펙보다 연결성이 먼저다
ERP, MES, 문서 시스템 등 여러 곳에 흩어진 데이터를 가진 기업일수록, 어떤 AI 모델을 쓸지보다 시스템을 어떻게 통합할지가 중요합니다.
디피니트 DARVIS가 제조, 건설, 공공기관 같은 레거시 산업에 집중하는 이유도 바로 여기에 있습니다. DARVIS는 txt2SQL 기술을 통해 기존 시스템을 그대로 두고도 AI로 데이터에 접근할 수 있게 합니다.
강제보다 자발성이 효과적이다
JP모건은 AI 사용을 의무화하지 않았습니다. 쉽고 강력한 도구를 제공하니, 직원들이 스스로 가치를 발견했습니다.
초기 성공 사례가 입소문을 타면서 조직 전체로 확산됐습니다. 바로 이것이 JP모건이 말하는 '바이럴 효과'입니다.
보안 때문에 미루는 건 핑계다
금융권만큼 규제가 까다로운 산업도 드뭅니다. JP모건은 데이터 보안을 최우선으로 고려하면서도 속도를 늦추지 않았습니다.
중요한 건 충분한 검토와 빠른 실행의 균형입니다. 디피니트 DARVIS는 온프레미스 구축과 NAC 기반 제어로 보안을 확보하면서도 빠른 도입이 가능한 솔루션입니다.
측정 가능한 성과를 추적하라
JP모건은 각 AI 프로젝트의 ROI를 세밀하게 추적합니다. '혁신'이라는 이름 아래 무분별하게 투자하는 것이 아니라, 실질적 가치를 증명하면서 확장해나가는 방식입니다.
JP모건의 AI 도입 성공사례는 기술의 문제가 아니었습니다.
직원들이 실제로 사용할 수 있는 환경을 만들고 기업의 레거시 시스템과 촘촘히 연결했기에 가능했습니다. AI 도입의 핵심은 '얼마나 최신 기술을 쓰느냐'가 아니라 '직원들이 실제로 쓸 수 있게 만드느냐'입니다.
AI 인사이트, 더 보고 싶으신가요?
실용적인 AI 활용 인사이트와 최신 트렌드를 더 알고 싶으시다면 디피니트의 DARVIS 블로그를 구독해보세요. (블로그 구독시 AI 관련 오프라인 행사 초대장을 우선 공유드립니다.)
DARVIS 블로그에서는 매주 업데이트되는 AI 활용 노하우와 실제 사례를 통해 업무 생산성을 높이는 방법을 공유합니다.
더 많은 AI 인사이트들이 궁금하시다면 아래의 ‘AI 인사이트 더 보러가기’를 통해서 둘러보세요.