AI가 불량이라고 판정했습니다. 그런데 담당자는 그 결과를 그대로 믿지 않습니다. 제품을 다시 꺼내 육안으로 확인하고, 측정 장비로 재검사합니다. AI가 틀려서가 아닙니다. 왜 그렇게 판단했는지 사람에게 설명하지 못하기 때문입니다.
제조업에서 AI 신뢰성은 정확도 하나로 결정되지 않습니다. "정확도 95%"라는 숫자보다 중요한 것은, 남은 5%의 오류가 언제 어디서 발생하는지, 그리고 그 오류를 사람이 미리 확인할 수 있는지입니다.
이 글에서는 제조업에서 AI 신뢰성이 왜 특히 중요한지, 신뢰를 잃는 이유가 무엇인지, 그리고 신뢰성을 높이는 방법을 정리해보려고 합니다.
제조업이 AI 오류에 특히 민감한 이유는 무엇인가?
제조업의 AI 오류는 다른 산업과 다르게 흘러갑니다. 디지털 서비스에서 오류는 대체로 불편으로 끝나지만, 제조 현장에서는 물리적인 결과로 이어지죠.
가장 먼저 안전과 직결됩니다. 설비 이상 감지, 로봇 제어, 위험 작업 감시에 AI가 쓰이는데, 위험 신호를 놓치거나 정상 상태를 이상으로 잘못 판단하면 설비 고장이나 작업자 안전사고로 이어질 수 있습니다.
비용도 즉시 발생합니다. 예지보전 AI가 고장을 놓치면 비계획 정지와 긴급 수리 비용이 생기고, 반대로 이상을 과도하게 감지하면 정상 설비를 멈추게 해 가동률이 떨어집니다. 품질 검사 AI가 불량품을 양품으로 판정하면 고객 클레임과 리콜로 이어지고, 양품을 불량으로 판정하면 불필요한 폐기와 재작업이 늘어납니다.
공정 간 의존성도 문제를 키웁니다. 한 공정에서 발생한 잘못된 AI 판단이 후공정과 출하, 심지어 고객의 생산라인까지 영향을 줄 수 있습니다. 그래서 제조업에서는 "AI가 얼마나 정확한가"보다 "AI가 틀렸을 때 얼마나 빨리, 얼마나 안전하게 알아챌 수 있는가"가 더 중요한 질문이 됩니다.
AI가 현장에서 신뢰를 잃는 이유는 무엇인가?
AI가 현장에서 신뢰를 잃는 데는 몇 가지 반복되는 패턴이 있습니다.
가장 흔한 것은 근거 없는 답변입니다. AI가 그럴듯한 답을 내놓지만, 실제로는 어떤 데이터를 근거로 그렇게 판단했는지 알 수 없는 경우입니다. "베어링 마모가 원인입니다"라고 확신 있게 답했는데 실제 원인은 축 정렬 불량이었다면, 담당자는 불필요한 부품을 교체하고 진짜 원인은 그대로 남습니다. 현장에서는 그럴듯함이 곧 정확함을 의미하지 않습니다.
재현되지 않는 결과도 신뢰를 무너뜨립니다. 어제는 정상으로 판정했는데 오늘은 같은 조건에서 이상으로 판정한다면, 담당자는 이것이 실제 공정 변화인지 모델의 오류인지 구분할 수 없습니다. “왜 결과가 달라졌는지 설명하지 못하면 ”AI 자체를 믿기 어려워집니다.
블랙박스 문제도 있습니다. AI가 “불량”이라는 결과만 내놓고 어느 위치가 왜 문제인지, 어떤 조건이 기준을 벗어났는지 설명하지 못하면 담당자는 결과를 검증할 방법이 없습니다.
이런 문제가 쌓이면 오탐과 미탐이 반복됩니다. 정상을 이상으로 판정하는 오탐이 계속되면 담당자는 경보를 무시하기 시작합니다. 반대로 실제 불량을 정상으로 판정하는 미탐을 한 번이라도 경험하면, 담당자는 AI의 정상 판정도 믿지 못해 모든 제품을 다시 검사합니다.
그 결과, 결국 다음과 같은 이중 확인 구조가 생깁니다. AI가 판정하고, 작업자가 다시 확인하고, 관리자가 최종 승인하게 되는 것이죠. AI가 사람의 일을 줄이지 못하고 오히려 단계 하나를 더 추가하는 셈이 됩니다.
제조업 AI 신뢰성을 높이는 조건, 세 가지.
신뢰를 잃는 이유를 뒤집어보면, 신뢰성을 높이는 방법도 명확해집니다.
첫째는 근거 제시입니다. AI는 답변보다 먼저 어떤 데이터와 조건을 근거로 판단했는지 보여줘야 합니다. “불량률 1.8%입니다”로 끝나는 것이 아니라 “어떤 기간, 어떤 기준으로 계산했는지”까지 함께 제시해야 합니다.
더 중요한 것은 근거를 찾지 못했을 때의 태도입니다. 데이터가 불충분하면 그럴듯한 답을 지어내는 대신 “확인할 수 없다”고 답해야 합니다.
둘째는 재현성입니다. 같은 질문에 같은 데이터와 같은 기준으로 같은 답이 나와야 합니다. 이를 위해서는 어떤 모델 버전, 어떤 데이터, 어떤 기준으로 판단했는지 이력이 남아야 합니다. 이 기록이 있어야 나중에 “왜 그때는 정상으로 판단했는지”를 되짚을 수 있습니다.
셋째는 위험도에 따른 사람의 개입입니다. 모든 결과를 사람이 일일이 확인하면 자동화 효과가 사라지고, 모든 결과를 자동으로 실행하면 위험이 커집니다. 확신도가 높고 영향이 작은 판단은 자동으로 처리하되, 안전이나 출하처럼 영향이 큰 판단은 반드시 사람이 최종 확인하는 구조가 현실적입니다.
다비스(DARVIS)는 제조업 AI 신뢰성을 위해, 이렇게 설계했습니다.
다비스(DARVIS)는 근거 없이 답하지 않는다는 원칙을 설계의 출발점으로 삼았습니다. 질문에 대한 근거를 찾지 못하면 답을 만들어내는 대신 확인이 필요하다는 것을 그대로 알립니다. 그럴듯하지만 틀린 답보다, 모른다고 답하는 편이 현장에서는 훨씬 안전하기 때문입니다.
답변에는 어떤 문서, 어떤 데이터, 어떤 조건을 근거로 판단했는지가 함께 제시됩니다. 담당자는 그 근거를 바로 확인하고 검증할 수 있습니다. 기존 시스템에는 읽기 전용으로만 연결되어 원본 데이터를 임의로 바꾸지 않기 때문에, 어떤 시점에 어떤 데이터를 근거로 어떤 판단이 내려졌는지 추적할 수 있습니다.
무엇보다 다비스는 AI가 사람을 대체하는 구조를 목표로 하지 않습니다. AI가 근거 있는 판단 후보와 우선순위를 제시하면, 최종 결정은 담당자가 내립니다. 이 구조가 현장에서 AI를 실제로 쓸 수 있게 만드는 조건입니다.
제조업 AI 신뢰도, 정확도가 아니라 설명 가능성에서 시작합니다.
제조업에서 AI 신뢰성은 모델을 더 정교하게 만드는 것만으로 완성되지 않습니다. 근거를 남기고, 결과를 재현할 수 있게 하고, 판단 이유를 설명하고, 불확실할 때는 사람에게 넘기는 운영 설계가 함께 있어야 합니다.
다비스(DARVIS)는 기존 ERP·MES를 교체하지 않고 위에 얹는 방식으로 작동합니다. 흩어진 데이터를 연결해 원인을 분석하되, 그 과정과 근거를 투명하게 보여줍니다. 기존 시스템 변경은 0건이고, 도입까지 5주입니다. AI를 믿고 쓸 수 있으려면, 답보다 근거가 먼저입니다.
실용적인 AI 활용 인사이트 및 최신 트렌드를 알아보고 싶으시다면 디피니트 다비스(DARVIS) 블로그를 구독해 보세요. 제조 현장의 실제 문제 해결 사례와 AI 활용 노하우를 공유합니다.
더 많은 제조 AI 인사이트를 보고 싶으시다면 'AI 인사이트 더 보러가기'를 통해 둘러보시면 도움이 되실 겁니다. 감사합니다.