카펙발레오, 연매출 1조 기업의 문서 기반 AI 챗봇 PoC 사례

업무 중에 필요한 문서나 규정을 찾아야 하는데 Google Docs, ERP, 사내 시스템 여기저기 문서가 흩어져 있어서 찾기 어려운 경험들, 아마 한 번쯤은 있으실 겁니다.

규모가 큰 회사일수록 이런 정보 사일로 문제는 더욱 심각합니다.

각 부서별로 다른 시스템, 다른 접근 권한, 끊임없이 업데이트되는 규정들을 모든 직원이 실시간으로 파악하기란 현실적으로 불가능합니다.

그렇다면 기업용 AI 챗봇으로 이런 문제를 해결할 수 있을까요?

오늘은 연매출 1조 2,952억원 글로벌 자동차 부품 제조기업 카펙발레오(PHC 발레오)가 디피니트의 문서 기반 AI 솔루션 DARVIS과 진행한 PoC 사례를 소개합니다.

카펙발레오, 글로벌 기업의 현실적 고민

카펙발레오는 글로벌 자동차 부품 제조기업입니다. 연매출 1조 2,952억원 규모의 기업으로, 전 세계 자동차 제조사들과 거래하는 글로벌 플레이어입니다.

카펙발레오의 IT팀에서는 회사 전체의 문서 관리 효율성을 높이기 위한 방안을 찾고 있었습니다. 특히 직원들이 필요한 정보를 찾고 탐색하는데 과도한 시간이 소요되는 문제를 해결해야 했죠.

실제로 카펙발레오는 뛰어난 기술력과 글로벌 네트워크를 바탕으로 꾸준히 성장하고 있었지만 동시에 더욱 효율적인 지식 관리 시스템이 필요한 시점이었습니다. 다양한 규정과 절차서들이 Google Docs, ERP, 각종 사내 시스템에 분산되어 있어 정보 접근에 어려움을 겪고 있었기 때문입니다.

각종 사내 시스템에 분산된 문서

카펙발레오의 기술문서와 규정들은 Google Docs, ERP, 각종 사내 시스템에 분산되어 있었습니다. 각 시스템마다 다른 접근 방식, 다른 검색 인터페이스, 다른 권한 체계를 가지고 있어 직원들이 필요한 정보를 찾기 위해서는 여러 시스템을 오가야 하는 상황이었죠.

더욱 어려운 점은 부서별로 다른 문서 공개 범위였습니다. 같은 문서라도 부서에 따라 접근할 수 있는 섹션이 다르고 업데이트 권한도 다르게 설정되어 있었기 때문입니다. 이런 복잡한 권한 관리 체계는 보안상 필요한 조치였지만 동시에 업무 효율성을 떨어뜨리는 요인이기도 했습니다.

DARVIS가 제시한 해결 방향

핵심은 질문 하나로 기업 지식을 연결한다는 DARVIS의 비전을 카펙발레오 환경에 적용하는 것이었습니다. 직원들이 복잡한 시스템 구조를 알 필요 없이, 자연어로 질문하면 AI가 알아서 적절한 시스템에서 정확한 정보를 찾아주는 방식이었습니다.

2주 만에 구축한 테스트 챗봇

PoC 프로젝트가 시작된 지 정확히 2주 후, 카펙발레오는 기대 이상의 결과를 확인할 수 있었습니다. 디피니트가 제시한 성과는 단순한 숫자가 아니라 실제 업무에 적용 가능한 수준의 검증된 결과였습니다.

PoC의 목적은 ‘카펙발레오 문서를 기반으로 정확한 답변을 생성하는 챗봇 개발’이었습니다.

이를 위해 5개의 핵심 문서가 학습 데이터로 활용되었습니다.

실제 학습 데이터와 체계적 접근

DARVIS가 학습한 데이터는 카펙발레오의 실제 업무에서 활용하는 규정 문서들이었습니다. 이러한 유형의 문서들은 높은 정확도가 필수적인 성격이어서, AI의 성능을 검증하기에 적합한 데이터였습니다.

3단계 검증으로 입증된 성과

디피니트는 단순한 정확도 측정이 아니라 3단계에 걸친 체계적 검증을 진행했습니다. 각 문서 내용을 기반하여 LLM을 이용해 질문을 생성하고 해당 질문이 생성된 문서에 대한 출처를 정확히 찾는지 평가한 것입니다.

평가 기준은 다음과 같았습니다:

• File Search: 질문과 관련 있는 문서를 찾는지 여부

• Page Search: 문서 내부의 정확한 페이지를 찾는지 여부

• Detail Search: 해당 질문의 세부적인 부분을 찾는지 여부

결과는 기대 이상이었습니다.

이 수치는 실제 업무 시나리오를 바탕으로 한 검증이었습니다.

사람이 주관적으로 평가하는 것이 아니라 LLM을 이용해 질문을 자동 생성하고 정답을 확인하는 방식으로 평가를 진행했습니다. 이는 편향을 최소화하면서도 실제 사용 상황과 유사한 조건에서의 성능을 측정할 수 있는 방법이었습니다.

이 평가 데이터가 중요한 것은 DARVIS가 단순히 문서를 찾는 것을 넘어서, 정확한 페이지와 세부 내용까지 찾아내는 능력을 검증했다는 점입니다.

제조업 특화 AI 기술의 차별점

카펙발레오 PoC에서 확인된 DARVIS의 핵심 강점은 단순한 문서 검색을 넘어선 제조업 특화 AI 기술력이었습니다. 이는 일반적인 기업용 AI 챗봇과는 다른 접근을 의미합니다.

멀티모달 문서 처리의 정교함

DARVIS는 PDF 문서의 텍스트뿐만 아니라 표 데이터까지 동시에 처리할 수 있습니다. 이는 제조업 문서의 특성을 고려한 것입니다.

카펙발레오의 실천사항 문서들처럼 복잡한 규정이 표 형태로 정리되어 있는 경우, 단순한 텍스트 추출로는 정확한 정보를 얻기 어렵기 때문입니다.

하이브리드 검색 알고리즘의 위력

DARVIS의 또 다른 핵심 기술은 하이브리드 검색입니다. BM25와 Vector Search를 조합한 2단계 검색 방식을 통해, 키워드 기반 검색과 의미 기반 검색의 장점을 모두 활용할 수 있었습니다.

1차 검색에서는 하이브리드 검색을 통해 관련성 높은 문서들을 찾아내고 2차 검색에서는 Top 2 문서를 필터링한 후 재검색을 진행합니다. 이런 방식을 통해 청크 ID 매칭 정확도를 0.66에서 0.86으로 크게 개선할 수 있었습니다.

제조업 도메인 이해력

가장 중요한 차별점은 제조업 도메인에 대한 깊은 이해력이었습니다. 단순히 문서를 검색하는 것을 넘어서, 하도급, 협력업체, 계약 체결 등 제조업 전문 용어들의 맥락과 관계를 정확히 파악할 수 있었습니다.

예를 들어 “협력업체 등록 절차"라는 질문에 대해, 단순히 해당 키워드가 포함된 문서를 찾는 것이 아니라, 관련된 실천사항 문서들 간의 연관성을 파악해서 종합적인 답변을 제공할 수 있었습니다. 이는 규정 문서의 계층 구조와 상호 참조 관계를 이해하고 있기 때문에 가능한 일이었습니다.

질문 하나로 기업 지식을 연결하다

카펙발레오 PoC 사례에서 가장 인상적이었던 것은 DARVIS의 핵심 비전을 실제로 구현되는 모습이었습니다. 복잡하게 분산된 기업 지식을 하나의 간단한 질문으로 연결하는 것, 이것이 바로 DARVIS가 추구하는 비전이었습니다.

Before & After의 차이

기존 방식에서는 "협력업체 선정 기준이 뭐였지?"라는 질문이 생겼을 때, 직원은 다음과 같은 복잡한 과정을 거쳐야 했습니다.

1. Google Docs에서 관련 문서 검색

2. ERP 시스템에서 관련 규정 확인

3. 사내 시스템에서 최신 업데이트 확인

4. 여러 문서를 비교 분석해서 정확한 답 도출

5. 총 소요 시간: 20-30분

DARVIS 챗봇을 활용하면 이렇게 바뀝니다.

1. DARVIS에 자연어로 질문 입력

2. AI가 모든 시스템의 정보를 종합 분석

3. 정확한 답변과 근거 문서, 페이지까지 제시

4. 총 소요 시간: 30초 이내

이런 변화는 단순한 시간 절약을 넘어서 업무의 질적 변화를 의미합니다. 직원들이 정보를 찾는 시간을 줄이고 더 가치 있는 업무에 집중할 수 있기 때문입니다.

디피니트와 함께하는 기업용 AI 챗봇 PoC

이번 카펙발레오의 PoC 사례는 기업용 AI 챗봇 PoC가 복잡하고 어려운 과정이 아니라 체계적 접근을 통해 빠르고 안전하게 진행할 수 있음을 보여줍니다.

검증된 PoC 방법론

디피니트가 카펙발레오와 진행한 PoC 방법론은 다른 기업들에게도 적용 가능한 표준 프로세스입니다.

1단계: 문제 정의와 목표 설정
고객사의 실제 니즈를 파악하고 명확한 목표를 설정합니다. 카펙발레오의 경우 문서 기반 정확한 답변 생성이라는 구체적 목표가 있었습니다.

2단계: 핵심 문서 선정 (5개 내외)
전체 문서를 한번에 처리하는 것이 아니라, 가장 중요한 핵심 문서들로 개념 증명을 진행합니다. 이를 통해 리스크를 최소화하면서도 실제적 성과를 확인할 수 있습니다.

3단계: 2주 집중 개발
단기간 집중 개발을 통해 빠른 결과를 확인합니다. 2주라는 기간은 고객사 입장에서도 부담이 적으면서 충분한 검증이 가능한 기간입니다.

4단계: 체계적 성과 측정
주관적 평가가 아닌 객관적 지표를 통해 성과를 측정합니다.

PoC로 시작하는 기업용 AI 챗봇 도입

기업용 AI 챗봇 구축, 계속 고민만 하는 것보다 PoC를 통해서 직접 경험해본다면 더 빠르게 의사결정을 내릴 수 있습니다.

이번 기회에 한번 디피니트와 PoC를 통해서 경험해 보세요.

디피니트의 기업용 AI솔루션 DARVIS는 기업을 위한 맞춤형 AI 솔루션을 제공합니다. txt2sql 기술과 RAG 기술을 통해 기업 내 분산된 데이터를 통합하고 즉각적인 분석을 가능하게 합니다.

기업용 AI 챗봇 구축, 아직도 막연하게 느껴지시나요?

PoC 문의는 언제든 열려있습니다. 서비스 소개서를 보시고 연락해주세요.

아래 링크에서 디피니트의 AI 챗봇 솔루션 DARVIS 서비스 소개서를 받아 보실 수 있습니니다.