"어제 회의에서 AI 비서가 존재하지 않는 재고 현황을 보고했나요?"
AI를 도입한 많은 기업이 비슷한 경험을 합니다. AI가 자신 있게 답변하는데, 확인해보니 틀린 정보였던 것이죠. 이른바 '환각 현상(Hallucination)'입니다.
문제는 이것이 단순한 기술적 오류가 아니라는 점입니다. AI가 우리 회사의 '사내 언어'를 제대로 이해하지 못하기 때문입니다. CRM 팀이 말하는 '고객'과 재무팀이 말하는 '고객'이 다른데, AI는 이 차이를 모릅니다.
해결책은 AI에게 우리 회사만의 정확한 '지식 지도'를 제공하는 것입니다. 바로 온톨로지 통합입니다.
기업용 AI가 겪는 바벨탑 현상
기업에서는 부서와 업무에 따라 같은 단어를 다르게 정의합니다. '고객'이라는 단어를 예로 들어볼까요?
CRM(고객 관리 시스템)에서 고객은 이름, 이메일, 구매 내역으로 정의됩니다. 하지만 ERP(재무 관리 시스템)에서는 송장 번호, 미수금, 계약 일자로 표현되죠. 운영 시스템에서는 배송 주소, 서비스 요청 티켓 번호가 고객을 나타냅니다.
각 시스템이 '고객'이라는 같은 단어를 쓰지만, 그 정의와 내용은 완전히 다릅니다. 사람은 맥락을 보고 판단할 수 있지만, AI는 이런 뉘앙스와 의미의 차이를 스스로 이해할 수 없습니다.
이것이 기업에서 AI를 사용할 때 원하지 않는 결과가 나오는 이유입니다. 부서마다 다른 언어를 쓰는 것과 같다는 의미에서 이를 '바벨탑 현상'이라고도 부릅니다.
맥락이 부재한 AI는 데이터의 '값'만 읽고 그 사이의 '논리적 관계'를 이해하지 못합니다. "지난달 불량률"을 물으면 품질관리 시스템의 불량 데이터인지, 고객 불만 데이터인지 구분하지 못한 채 확률적으로 높은 단어를 조합해 답변합니다. 이것이 환각의 시작입니다.
비즈니스 영향은 심각합니다. 잘못된 데이터를 기반으로 의사결정을 내리면 실제 불량률 상승을 놓치거나, 중요한 보고서에 오류가 생길 수 있습니다.
온톨로지 통합, 어떻게 AI의 환각을 잡는가?
온톨로지 통합은 AI에게 단어 사이의 관계와 규칙을 미리 알려주는 '나침반' 역할을 합니다.
온톨로지(Ontology)란 특정 분야의 지식(개념, 개체, 속성, 관계 등)을 컴퓨터가 이해하고 처리할 수 있도록 명확하게 정의하고 구조화한 지식 모델입니다. 기업 환경에서는 전사적으로 통일된 하나의 '공용 지도'나 '공통 언어'를 만드는 것을 의미합니다.
구분 | 일반 RAG | 온톨로지 기반 RAG |
|---|---|---|
작동 방식 | 검색된 문서 중 확률적으로 높은 단어 조합 | 정의된 논리적 연결망 안에서만 추론 |
환각 가능성 | 높음 (근거 없는 답변 생성 위험) | 낮음 (정의된 관계만 사용) |
데이터 이해 | 단어 수준 매칭 | 맥락과 관계 이해 |
복잡한 질문 처리 | 어려움 | 여러 시스템 넘나들며 정확한 답변 |
온톨로지 통합은 크게 두 가지를 통합합니다. 첫째, '고객' '제품' '공급업체' 같은 핵심 항목들을 전사적으로 하나의 정의로 통일하는 객체(명사) 통합입니다. 둘째, '고객이 구매하다' '계약이 연결되다' 같은 객체 간 연결 방식을 통일하는 관계(동사) 통합입니다.
이렇게 온톨로지가 연결되고 통합되면, AI는 단일 앱을 넘어 기업 활동 전반에서 추론하고 행동할 수 있게 됩니다. "지난주 불량률이 높았던 날, 해당 라인 담당자의 근무 이력"처럼 여러 시스템을 넘나드는 질문에도 정확하게 답할 수 있는 것이죠.
팔란티어의 알렉스 카프 CEO는 2024년 6월 "시장의 모든 가치가 칩과 우리가 온톨로지라고 부르는 것에 집중될 것"이라며 "온톨로지는 AI의 힘을 현실 세계의 사물과 관계에 연결하는 것"이라고 강조한 바 있습니다.
데이터 통합 없는 데이터 연결, 다비스(DARVIS)의 접근법
온톨로지 통합의 핵심은 데이터를 물리적으로 옮기지 않고도 논리적으로 연결하는 것입니다.
전통적인 방식은 모든 시스템의 데이터를 한곳으로 모으는 '데이터 통합'이었습니다. 하지만 이 과정에서 막대한 비용과 시간이 들고, 데이터 복제로 인한 보안 리스크도 생깁니다.
다비스(DARVIS)는 기존 ERP, MES, HR 시스템을 그대로 두고 온톨로지를 통해 논리적으로 연결합니다. 각 시스템에서 필요할 때 데이터를 읽어와 온톨로지가 정의한 관계에 따라 연결하는 방식입니다. 팔란티어가 말하는 '운동성 계층(Motion Layer)'과 유사한 개념입니다.
GUARDIA 보안 시스템을 통해 온톨로지 구축 과정에서도 데이터는 외부로 나가지 않습니다. 온프레미스 환경에서 안전하게 관리되며, 누가 어떤 데이터를 조회했는지 감사 로그로 투명하게 기록됩니다.
이러한 방식으로 도입한 기업들은 정보 접근 시간이 크게 단축되는 효과를 경험하고 있습니다. 여러 시스템을 오가며 데이터를 찾던 시간이 자연어 질문 하나로 줄어드는 것이죠.
서울시여성가족재단이 온톨로지로 해결한 문제
서울시여성가족재단은 60개가 넘는 복잡한 내부 규정과 예산 관련 문서를 관리합니다. 직원들이 특정 규정이나 예산 정보를 찾는 데 평균 15분 이상 걸렸습니다.
온톨로지 기반 AI를 도입한 후, 검색 시간이 30초로 단축되었습니다. AI가 단순히 키워드를 찾는 것이 아니라, 온톨로지를 통해 규정 간의 관계, 예산 항목 간의 연결을 이해하게 되면서 정확도가 높아진 것입니다.
교육 기업 비즈니스PT도 200개가 넘는 강의 콘텐츠를 온톨로지로 연결했습니다. "초급 마케팅 과정에서 다루는 SEO 관련 내용"처럼 여러 강의에 걸쳐 있는 정보를 정확하게 찾아낼 수 있게 되었고, 수강생 질문 응대 시간이 4시간에서 10분으로 줄었습니다.
이들 사례의 공통점은 온톨로지를 통해 AI가 데이터의 맥락과 관계를 이해하게 만들었다는 점입니다.
똑똑한 AI가 아니라, 우리 회사용 AI가 필요할 때
AI의 환각은 모델 성능의 문제가 아닙니다. 우리 회사의 지식 구조를 AI가 이해하지 못하는 것이 문제입니다.
아무리 최신 LLM을 사용해도, 우리 회사에서 '고객'이 어떻게 정의되고, 어떤 시스템과 연결되는지 모른다면 정확한 답변을 할 수 없습니다. 반대로 온톨로지 통합을 통해 회사의 데이터 관계를 명확히 정의하면, AI는 우리 회사만의 지능형 비서가 됩니다.
2026년, AI 에이전트 시대가 본격화되면서 온톨로지 통합은 선택이 아닌 필수가 되고 있습니다. 에이전트가 인간 대신 업무를 처리하려면, 온톨로지 없이는 맥락 문제를 피할 수 없기 때문입니다.
데이터는 많지만 연결되지 않아 고민이라면, 온톨로지 통합을 통해 AI에게 우리 회사만의 공용 지도를 그려주는 것부터 시작해보시기 바랍니다.
실용적인 AI 활용 인사이트 및 최신 트렌드를 알아보고 싶으시다면 디피니트 다비스(DARVIS) 블로그를 구독해 보세요. AI 활용 노하우와 실제 사례를 통해 업무 생산성을 높이는 방법을 공유합니다.
더 많은 AI 인사이트를 보고 싶으시다면 'AI 인사이트 더 보러가기'를 통해 둘러보시면 도움이 되실 겁니다. 감사합니다.