사내 시스템에 붙여 쓰는 AI 에이전트가 내놓은 숫자가 틀렸습니다.
확인해 보니 지어낸 값은 아니었습니다. 사내 어딘가에 남아 있던 오래된 기준을 그대로 읽어 계산한 결과였습니다.
이런 경우는 AI 할루시네이션이 아닙니다. 그런데 많은 조직이 이 상황도 할루시네이션으로 분류합니다. 그리고 모델을 바꾸거나 프롬프트를 손보는 쪽으로 대응합니다. 원인이 데이터에 있다면 이 대응은 효과가 없습니다.
기업 57%가 지난 6개월 안에 이 문제를 겪었습니다. AI 에이전트가 확신을 갖고 내놓은 답이 틀렸고, 원인을 추적해 보니 사내 자료가 누락됐거나 시스템마다 어긋나 있었습니다. 31%는 같은 일을 여러 번 겪었습니다. 미국 IT 전문 매체 벤처비트가 2026년 6월 직원 100명 초과 기업 101곳을 조사한 결과입니다.
낯선 상황은 아닐 겁니다. 같은 지표를 물었는데 어느 시스템에서 보느냐에 따라 다른 숫자가 나오는 일은 이미 벌어지고 있습니다.
AI 할루시네이션이 아닌데 틀린 답이 나옵니다
할루시네이션은 AI가 근거 없이 지어낸 답을 말합니다.
판정 기준은 사실 여부가 아니라 주어진 자료입니다. 메타 AI 연구진이 참여해 국제 학회에 발표한 할루시네이션 측정 연구는 이 기준을 명확히 정리합니다. 모델의 답이 학습한 내용이나 입력으로 받은 자료와 어긋날 때가 할루시네이션입니다. 반대로 주어진 자료와 일치하는 답이라면 그 답이 사실과 달라도 할루시네이션으로 분류하지 않습니다. 자료 자체가 낡았거나 틀린 경우가 여기 해당합니다.
이 구분이 중요한 이유는 하나입니다. 고치는 방법이 다르기 때문입니다.
AI가 근거 없이 지어냈다면 손볼 대상은 모델과 검증 절차입니다. 답변의 근거를 함께 요구하고, 확신이 낮을 때는 답하지 않게 하고, 실행 전에 사람이 확인하는 단계를 넣습니다.
AI가 잘못된 기준을 정확히 읽어 계산했다면 손볼 대상은 그 기준입니다. 모델을 바꿔도 같은 답이 다시 나옵니다. 프롬프트를 아무리 정교하게 써도 마찬가지입니다. 읽어오는 자료가 그대로이기 때문입니다.
현장에서 이 둘은 똑같이 보입니다. AI는 어느 쪽이든 확신에 찬 문장으로 답합니다. 그래서 답이 틀렸을 때 원인을 어디서 찾을지가 대응 전체를 가릅니다.
문서를 더 넣어도 AI 할루시네이션은 줄지 않습니다
기업 38%가 사내 문서를 검색해 AI에 넘기는 방식을 기본으로 씁니다. 2위 방식의 거의 두 배입니다. 규정집과 매뉴얼, 회의록, 보고서를 모아두고 질문이 들어오면 관련 문서를 찾아 AI에게 함께 건네는 구조입니다.
이 방식은 지어낸 답을 줄이는 데 효과가 있습니다. 근거로 삼을 문서가 앞에 놓이면 AI가 학습한 내용에만 의존해 답을 만들 이유가 줄어듭니다.
문제는 문서 안의 내용이 서로 어긋날 때입니다. 2년 전 기준으로 쓴 보고서와 올해 개정된 지침이 같은 폴더에 있다면 검색은 둘 다 찾아옵니다. AI는 그중 하나를 골라 답합니다. 문서를 더 넣으면 고를 선택지가 늘어날 뿐입니다.
검색 도구를 고르는 기준도 문제를 키웁니다. 조사에서 도구 선정 기준의 앞자리를 차지한 것은 자료를 넣기 쉬운지와 운영이 단순한지였습니다. 검색이 정확한지는 그보다 뒤였습니다. 정확도 문제는 도구를 붙이는 시점에 드러나지 않습니다. 실제로 돌리기 시작한 뒤에 드러납니다.
AI 데이터 품질은 한 가지 문제가 아닙니다
AI 데이터 품질을 이야기하면 대개 양과 정제 상태를 떠올립니다. 데이터가 충분한지, 빠진 값이 없는지, 형식이 맞는지 같은 것들입니다. 그런데 AI가 답을 만들 때 필요한 것은 그보다 많습니다.
질문 하나에 답하려면 최소한 네 가지가 갖춰져야 합니다.
필요한 자료가 어디 있는지
그 자료가 무엇을 뜻하는지
묻는 사람이 그 자료를 볼 수 있는지
나온 답이 실제 결정으로 이어지는지
이 네 가지는 서로 다른 문제입니다. 자료를 한곳에 모았다고 그 자료가 무엇을 뜻하는지 정해지지 않습니다. 뜻을 정했다고 누가 어디까지 볼 수 있는지 정리되지 않습니다. 셋을 다 갖춰도 그 답이 실제 결정으로 이어지는 것은 또 다른 일입니다.
그래서 도구를 하나 들여놓고 나머지가 따라올 것으로 기대하면 어긋납니다. 검색 도구는 자료를 찾아줄 뿐 그 자료의 뜻까지 정해주지 않습니다.
문제가 하나 더 있습니다. 네 가지를 담당하는 도구들이 애초에 서로 맞물리도록 만들어지지 않았습니다. 자료를 찾는 도구와 뜻을 정리하는 도구, 권한을 관리하는 도구가 각각 따로 나왔습니다. 그래서 질문 하나에 제대로 답하게 하려고 여러 시스템을 따로 관리하게 됩니다.
기업 AI 도입은 한 번 겪은 회사부터 움직입니다
조사에서 뚜렷한 대비가 하나 나왔습니다. 확신에 찬 오답을 여러 번 겪은 기업 약 81%가 앞으로 1년 안에 검색과 데이터 관련 공급사를 바꾸거나 추가할 계획이라고 답했습니다. 같은 일을 겪지 않은 기업에서는 32%였습니다.
숫자보다 방향이 중요합니다. 지금 도구를 손보려는 회사는 대체로 이미 틀려본 회사입니다. 겪기 전에는 급하다고 느끼지 않습니다.
준비 상태를 보면 격차가 더 분명해집니다. 모든 AI가 같은 기준을 참조하도록 정리해둔 기업은 25%입니다. 34%가 만드는 중이고 41%는 아직 시작하지 않았습니다. 기준을 정리해둔 곳보다 아직 손대지 않은 곳이 더 많습니다.
AI 할루시네이션을 의심하기 전에 데이터 정의부터 확인합니다
AI 적용 범위를 넓히기 전에 확인할 것이 있습니다. 큰 작업이 아닙니다. 회의에서 자주 나오는 지표 3~5개를 고르는 데서 시작합니다.
첫째, 그 지표를 각 시스템이 어떻게 계산하는지 나란히 놓고 비교합니다. 회사에서 쓰는 주요 시스템은 물론이고 부서에서 따로 관리하는 문서까지 포함합니다.
둘째, 계산 기준이 다르면 어느 쪽을 기준으로 삼을지 정합니다. 하나로 통일하기 어려운 지표도 있습니다. 그럴 때는 어느 상황에서 어느 기준을 쓰는지를 정합니다.
셋째, 정한 내용을 문서로 남깁니다. 사람 머릿속에만 있으면 AI는 그 내용을 읽지 못합니다.
넷째, 그다음에 AI 적용 범위를 넓힙니다.
순서가 중요합니다. 기준을 맞추지 않은 채 AI를 넓히면 어긋난 숫자가 더 빠르게 퍼지고 더 많은 곳에 남습니다.
마무리
AI가 틀린 답을 냈을 때 가장 먼저 확인할 것은 모델의 성능이 아닙니다. 그 답을 만들 때 AI가 무엇을 읽었는지, 그리고 그 자료가 회사 안에서 같은 뜻으로 쓰이고 있는지입니다.
지어낸 답과 잘못된 자료를 정확히 읽은 답은 겉으로 똑같아 보입니다. 그러나 고치는 방법은 완전히 다릅니다. 이번 주 회의에서 쓰는 지표 하나를 골라 시스템마다 같은 값이 나오는지 확인해 보세요.
디피니트 블로그를 구독하세요
디피니트는 제조 기업이 AI를 실제 성과로 연결하도록 돕는 회사입니다. 설비와 품질, 공정에서 쌓이는 데이터를 하나로 잇고, AI가 문제의 원인을 짚어 개선 방향까지 제시하도록 만듭니다.
디피니트 블로그는 이런 경험을 바탕으로 AI 도입과 활용에 대한 실무 관점의 인사이트를 다룹니다. 제조 현장에서 AI를 어떻게 도입하고 어디까지 맡겨야 할지 고민하고 있다면, 블로그를 구독하고 새로운 글을 가장 먼저 받아보세요,