AI 할루시네이션은 생성형 AI가 사실이 아닌 내용을 그럴듯한 문장으로 만들어내는 현상입니다. 일반적으로 존재하지 않는 논문을 인용하거나, 없는 규정을 있는 것처럼 안내하는 식으로 나타나죠. 문장이 자연스러워서 읽는 것만으로는 오류를 알아차리기 어렵고, 업무에서는 그 결과물이 그대로 외부에 나가면서 문제가 커집니다. 특히 법률, 연구, 보고서처럼 근거가 중요한 업무에서는 오류 하나가 결과물 전체의 신뢰를 흔듭니다.
이 글에서는 보도로 확인된 업무 현장의 AI 할루시네이션 사례 다섯 건을 살펴봅니다. 이어서 사례의 공통점과 정부 가이드가 제시하는 줄이는 방법을 정리하겠습니다.
법원에 제출된 서면에서 등장한 가짜 판례
보도에 따르면 2025년 8월 서울북부지방법원 사건에서 원고 측이 제출한 서면의 대법원 판례가 실재하지 않는 사건번호로 드러났습니다. 다른 사건에서는 재판부로부터 사건번호를 확인해 달라는 요청을 받고도 또 다른 허위 판결을 인용한 사례가 보도됐습니다. 판례 인용은 법률 업무에서 주장의 근거인데, 사건번호와 요지가 형식을 갖추고 있어 제출 전에 걸러지지 않았습니다.
법원행정처는 2026년 3월 31일 대응책을 발표했습니다. AI가 만든 가짜 판례를 인용하면 소송비용을 부담시키고 징계를 의뢰하는 방안, AI 사용 사실 고지와 인용 검증 의무의 도입 검토, 가짜 사건번호를 확인하는 기능의 추가가 포함됐습니다.
AI 할루시네이션, 공무원 국외훈련 보고서에서도?
인사혁신처가 최근 3년간 제출된 국외훈련 결과보고서 1,385건을 전수조사한 결과, 의심 보고서 45건이 윤리위원회에 올라갔고 이 가운데 11건에서 생성형 AI의 부적절한 활용이 확인됐다고 보도됐습니다. 유형은 사실과 동떨어진 내용을 지어낸 허위정보와 확인되지 않는 참고문헌이었고, AI가 자주 쓰는 이모지와 특수기호가 남아 있던 점도 적발 사유로 보도됐습니다. 해당 교육생의 명단은 소속 부처에 통보됐고, 표절에 해당한다고 보아 지급된 월 체재비의 4배를 환수하기로 했습니다.
분량이 길고 참고문헌과 세부 수치가 많은 보고서일수록, 하나하나 확인하지 않으면 오류가 그대로 남는다는 점을 보여주는 사례입니다.
전문 컨설팅사의 보고서에서도 등장한 허위 인용
2025년 10월 보도에 따르면 딜로이트가 호주 정부에 제출한 보고서에는 존재하지 않는 논문과 조작된 판결문 인용이 포함돼 있었습니다. 수정 과정에서 참고문헌 141개 중 14개가 삭제됐고, 수정본에는 GPT-4o를 일부 활용했다는 사실이 명시됐습니다. 용역비의 일부도 환불하기로 했다고 합니다.
KPMG는 2026년 6월 보도로 알려졌습니다. 해외 매체를 인용한 국내 보도에 따르면 기업의 AI 도입 사례를 분석한 보고서에 실제와 다른 내용이 담겨 있었고, AI 탐지 연구 단체 GPTZero가 먼저 지적한 뒤 파이낸셜타임스가 검증했습니다. UBS, 영국 NHS, 스위스연방철도, 런던교통공사는 자신들에 관한 내용이 사실이 아니거나 심각하게 오도된 것이라고 밝혔고, KPMG는 보고서를 모든 채널에서 삭제하고 내부 조사에 들어갔습니다.
검증이 본업인 전문 조직에서도 AI 산출물의 출처 확인이 빠질 수 있다는 점을 보여줍니다.
챗봇의 잘못된 안내에 책임을 물게된 회사
에어캐나다의 고객 응대 챗봇이 환불 정책을 잘못 안내했고, 이를 믿은 고객이 분쟁을 제기한 사례가 보도됐습니다. 회사는 챗봇의 답변에 책임이 없다고 주장했지만, 2024년 2월 판정에서 분쟁 해결 기구는 고객의 손을 들어줬습니다. AI가 한 답변이라도 기업이 책임을 질 수 있다는 점을 보여준 사례입니다.
다섯 사례의 공통점
첫째, AI가 낸 결과가 확인 없이 외부로 나갔습니다. 법원 서면, 정부 보고서, 컨설팅 보고서, 고객 안내 모두 제3자가 보는 결과물이었습니다.
둘째, 오류가 형식을 갖춘 채 나타났습니다. 사건번호, 참고문헌, 기업 사례처럼 그럴듯해 보이는 항목이 가짜였습니다.
셋째, 대응책이 문제가 드러난 뒤에 나왔습니다. 법원행정처의 대책도 KPMG의 내부 조사도 사후 조치입니다. 문제는 AI가 틀릴 수 있다는 사실 자체보다, 틀릴 수 있다는 전제로 만든 확인 절차가 없었다는 데 있습니다.
AI 할루시네이션을 줄이는 방법
사례에서 빠져 있던 확인 절차를 기준으로 네 가지로 정리할 수 있습니다. 모두 AI를 쓰지 않는 방법이 아니라 쓰는 방식을 바꾸는 방법입니다.
출처를 사람이 직접 확인합니다. 국가과학기술자문회의가 확정하고 과기정통부가 배포하는 국가연구개발 AI 연구윤리 가이드는 AI가 제시한 논문, 통계, 참고문헌을 그대로 쓰지 말고 실제 존재하는 자료인지, 내용이 정확한지 연구자가 직접 확인하도록 안내합니다. 가짜 판례와 허위 참고문헌 사례에서 빠져 있던 단계입니다.
답변의 근거를 설계 단계에서 확보합니다. 행정안전부가 6월에 배포한 공공부문 AI 도입·활용 가이드는 환각을 막기 위해 RAG(검색 증강 생성) 우선 전략을 담았습니다. AI가 답하기 전에 기관 내부의 최신 문서를 먼저 찾아보고, 그 내용에 근거해 답하게 하는 방식입니다. 챗봇의 오안내를 줄이는 데 해당하는 접근입니다.
AI 사용 사실을 밝힙니다. 연구윤리 가이드는 사용한 모델과 버전, 활용 목적과 범위를 밝히도록 권고합니다. 법원도 AI 사용 고지 의무의 도입을 검토 중이고, 딜로이트는 수정본에 AI 활용 사실을 명시했습니다.
사람이 최종 검토합니다. KPMG는 AI를 쓸 때 사람이 내용을 검증하고 독립적인 출처를 확인하도록 하는 사내 정책이 있다고 밝혔습니다. 정책이 있더라도 외부로 내보내기 직전 단계에서 실제로 적용되는지가 중요합니다.
AI 답변은 업무의 근거로 쓰기 전에 반드시 확인해야 합니다
AI의 답변은 초안이나 참고 자료로 활용하되, 업무의 근거로 삼기 전에는 출처가 실제로 존재하는지, 수치와 날짜가 맞는지, 최신 규정이 반영됐는지를 확인해야 합니다. 앞의 사례들에서 공통으로 빠져 있던 단계가 바로 이 확인입니다. AI를 업무에 깊이 쓸수록 이 확인은 개인의 습관에 맡기기보다 팀의 절차로 정해 두는 편이 안전합니다.