AI에 돈은 썼는데 이게 값을 하는지 판단이 안 서는 경영진이 많습니다. 도입 현황을 물으면 대부분 "직원 대부분이 계정을 받았고 매일 쓴다"는 답이 돌아옵니다. 그런데 그건 얼마나 샀는지를 말할 뿐, 그 돈으로 무엇을 얻었는지는 말해주지 않습니다.
OpenAI CFO 세라 프라이어(Sarah Friar)가 최근 내놓은 'AI 성과 평가법'도 같은 지점을 짚습니다. AI의 효과는 도입한 규모가 아니라 실제로 끝낸 일로 판단해야 한다는 것입니다.
AI 도입 효과는 '완료된 업무'로 측정합니다
지금까지는 소프트웨어가 성공했는지를 도입 규모로 판단했습니다. 구매한 계정 수, 매일 접속하는 사용자 수, 재계약률 같은 것입니다. 이 숫자들은 "우리 회사가 이 도구를 얼마나 받아들였나"는 보여주지만 "그래서 어떤 효과를 얻었나"라는 질문에는 답하지 못합니다. AI는 여기서 더 나은 기준이 필요합니다. 바로 완료된 업무입니다.
세라 프라이어가 던지는 기본 질문은 이렇습니다.
‘AI가 끝낸 일의 가치가 그 일을 맡기는 비용보다 빠르게 커지고 있는가?’
이 질문에 답하려면 AI 사용률이 아니라 결과를 봐야 합니다. AI가 고객 문의를 얼마나 해결했는지, 코드 변경을 얼마나 통과시켰는지, 계약 검토를 얼마나 끝냈는지, 사람에게 시간을 얼마나 돌려줬는지입니다.
시작하는 방법은 단순합니다. 하나의 업무부터 고르고 그 업무에서 '끝났다'가 무엇인지 정의한 다음, 실제로 그 일이 처리되는 시스템에서 결과를 확인합니다. 지원팀이라면 '끝났다'는 고객 문제가 해결된 것입니다. 제조 현장이라면 불량의 원인을 규명하고 조치까지 마친 것이 '끝났다'입니다. AI를 사용했는지가 아니라 이 일을 끝냈는지를 볼 때, 처음으로 AI가 제대로 된 역할을 하는지 보이기 시작합니다.
계정 수와 접속률은 얼마나 샀는지일 뿐 무엇을 얻었는지가 아닙니다
AI 도입 효과는 완료된 업무로 봐야 드러납니다
하나의 업무부터 '끝났다'를 정의하고 그 결과를 확인합니다
제조라면 불량 원인 규명과 조치 완료가 '끝났다'입니다
AI 비용, 싼 모델이 오히려 더 비쌀 수 있습니다
효과를 봤다면 다음은 비용입니다. 여기서 많은 기업이 잘못된 숫자를 봅니다. 토큰당 가격입니다. 값이 싼 모델을 고르면 비용이 줄어든다고 생각하지만 실제로는 그렇지 않을 수 있습니다.
싼 모델은 토큰 단가는 낮아도 원하는 결과를 얻기까지 여러 번 다시 시켜야 하고 사람이 더 많이 검토해야 할 수 있습니다. 반대로 비싼 모델은 단가는 높아도 한 번에 제대로 끝내 재시도와 검토를 줄입니다. 그래서 토큰당 최저가가 결과당 최저비용을 뜻하지 않습니다.
제대로 된 계산은 이렇습니다. 먼저 업무를 끝내는 데 든 전체 비용을 더합니다. 여기엔 모델 사용료뿐 아니라 직원이 쓴 시간, 사람 검토, 다시 시킨 횟수, 재작업까지 들어갑니다. 그다음 품질 기준을 통과한 작업이 얼마나 되는지 확인합니다. 전체 비용을 성공한 건수로 나누면 성공한 작업 하나당 진짜 비용이 나옵니다. 단가가 아니라 이 숫자로 비교해야 어느 쪽이 실제로 싼지 알 수 있습니다.
토큰당 가격은 진짜 AI 비용을 보여주지 않습니다
싼 모델은 재시도와 검토 때문에 오히려 더 비쌀 수 있습니다
전체 비용에는 직원 시간, 검토, 재작업까지 포함합니다
전체 비용을 성공한 건수로 나눠 비교합니다
AI를 믿고 쓰려면 신뢰성부터 확인합니다
세 번째는 신뢰성입니다. AI가 내놓은 결과를 사람이 얼마나 믿고 쓸 수 있느냐입니다. 결과가 정확하고 출처가 분명하고 일관되면 사람이 검토하고 고치고 다시 시키는 시간이 줄어듭니다. 신뢰성이 높을수록 성공한 작업 하나당 비용이 내려갑니다.
확인하는 방법은 결과를 세 가지로 나눠 보는 것입니다. 받은 그대로 바로 쓸 수 있었는지, 사람이 수정해야 했는지, 아니면 사람이 직접 들어와 마무리해야 했는지입니다. 이 세 가지는 모델 정확도라는 숫자 하나보다 훨씬 많은 것을 알려줍니다. AI가 실제로 일의 부담을 줄이고 있는지를 보여주기 때문입니다.
신뢰성에는 명확한 경계도 필요합니다. AI가 초안을 쓰는 단계를 넘어 직접 행동하는 단계로 가기 전에 세 가지를 정해야 합니다. AI가 어떤 데이터에 접근할 수 있는지, 어떤 시스템을 바꿀 수 있는지, 그리고 언제 사람이 검토하거나 승인해야 하는지입니다.
특히 위험이 큰 판단일수록 사람이 마지막을 확인해야 합니다. 설비를 세울지, 품질 불량을 판정할지, 자재 발주를 승인할지 같은 결정은 한 번 어긋나면 되돌리기 어렵기 때문입니다.
AI가 내놓은 결과를 바로 사용, 수정 필요, 사람 개입 필요로 나눠 봅니다
행동에 앞서 접근 데이터, 변경 권한, 승인 시점을 정합니다
위험이 큰 판단은 사람이 마지막을 확인합니다
AI 도입 효과는 시간이 갈수록 커져야 합니다
마지막은 시간입니다. 효과는 한 시점의 숫자가 아니라 시간에 걸쳐 봐야 합니다. 같은 업무를 계속 지켜보면서 품질 기준을 통과한 작업 수, 전체 비용, 성공한 작업 하나당 비용이 어떻게 움직이는지 봅니다.
완료한 업무가 비용보다 빠르게 늘고 품질이 유지되거나 좋아진다면, 같은 돈을 써도 점점 더 많은 성과가 나오고 있다는 뜻입니다. 반대로 도입은 늘었는데 이 숫자가 나아지지 않는다면, 규모만 커졌을 뿐 효과는 제자리라는 신호입니다.
그래서 시작은 크게 벌이는 것이 아니라 하나의 뾰족한 업무에서 이 숫자를 확인하는 것입니다. 한 곳에서 완료된 업무가 늘고 성공한 작업당 비용이 내려가는 것을 확인한 다음, 그 방식을 다른 업무로 넓혀가는 것이 효과를 키우는 현실적인 순서입니다.
AI 도입 효과는 한 시점이 아니라 시간에 걸쳐 확인합니다
완료한 업무가 비용보다 빠르게 늘면 같은 돈으로 더 많은 성과가 납니다
도입만 늘고 이 숫자가 그대로면 효과는 제자리입니다
하나의 업무에서 확인한 뒤 넓혀가는 것이 현실적인 순서입니다
AI 도입 후 제대로된 역할을 하는지 궁금하다면 계정 수와 접속률이 아니라 완료된 업무를 봐야 합니다.
성공한 작업 하나당 비용으로 따지고, 사람이 결과를 얼마나 믿고 쓰는지 확인하고, 시간이 갈수록 같은 돈으로 더 많은 성과가 나는지 지켜보는 것입니다.
결국 AI 도입의 효과는 얼마나 도입했는지가 아니라 어떤 일을 끝냈는지에서 드러납니다.
디피니트 블로그를 구독하세요
디피니트는 제조 기업이 AI를 실제 성과로 연결하도록 돕는 회사입니다. 설비와 품질, 공정에서 쌓이는 데이터를 하나로 잇고, AI가 문제의 원인을 짚어 개선 방향까지 제시하도록 만듭니다.
디피니트 블로그는 이런 경험을 바탕으로 AI 도입과 활용에 대한 실무 관점의 인사이트를 다룹니다. 제조 현장에서 AI를 어떻게 도입하고 어디까지 맡겨야 할지 고민하고 있다면, 블로그를 구독하고 새로운 글을 가장 먼저 받아보세요.