국내 한 언론사가 보안업체와 함께 해킹 시연을 진행했습니다.
조건은 단순했습니다. 사내망에 연결된 업무용 노트북 한 대에 앤트로픽의 AI 모델 클로드를 설치하고, 명령어 8줄로 된 지시문을 입력했습니다. 별도의 해킹 도구나 전문 기술은 쓰지 않았습니다.
지시를 받은 AI는 곧바로 내부망을 살피기 시작했습니다. 10분 만에 망이 뚫렸고 전체 접근 권한을 가진 계정의 아이디와 비밀번호를 확보하는 데 12분이 걸렸습니다. 특정 직원의 컴퓨터에서 지정한 문서를 찾으라고 하자 비슷한 이름의 파일을 모두 분석해 그중에서 골라냈습니다.
더 눈여겨볼 부분은 방식이었습니다. AI는 지시받지 않은 상황에서도 스스로 가설을 세우고 검증하며, 망이 뚫릴 때까지 공격을 이어갔습니다. 10분 동안 내부망에 가한 공격은 수백 차례에 달했습니다.
AI 에이전트 보안이 기존 정보보호와 다른 지점이 여기서 드러납니다.
한 가지 짚어둘 것은, 시연에 특정 모델이 쓰였지만 그 모델의 결함 때문에 벌어진 일이 아니라는 점입니다. 명령을 실행할 수 있는 AI 에이전트라면 어느 것이든 같은 방식으로 움직일 수 있습니다. 왜 보안이 뚫렸는지, 도입을 검토하는 입장에서 무엇을 확인해야 하는지 순서대로 살펴보겠습니다.
뚫린 것은 방화벽이 아니라 권한 경계였습니다
시연에서 새로운 취약점이 발견된 것은 아닙니다. AI가 찾아낸 약점은 원래 그 시스템에 있던 것들이었습니다. 달라진 부분은 그 약점을 찾고 엮는 속도였습니다.
원인은 두 가지가 겹친 데 있습니다. 하나는 시스템에 남아 있던 취약점이고, 다른 하나는 AI 에이전트를 컴퓨터에 설치하는 순간 그 컴퓨터가 가진 모든 접속 권한이 AI에 함께 넘어간다는 점입니다. 취약점은 예전부터 있었지만, 그것을 쉬지 않고 찾아다닐 존재가 내부에 생긴 것은 최근의 일입니다.
내부 서버에 접근할 수 있는 단말기 한 대에 에이전트가 설치돼 있으면 같은 일이 반복될 수 있습니다. 공격자가 외부에서 방화벽을 넘을 필요가 없습니다. 이미 내부에 있는 권한을 그대로 물려받기 때문입니다.
이 조건은 특정 기업만의 문제가 아닙니다.
시연에 참여한 보안업체는 100여 개 기업을 점검한 결과 99%가 같은 공격에 노출돼 있다고 밝혔습니다. 규모나 업종과 관계없이, 업무용 단말기에 AI 에이전트를 설치하는 순간 같은 구조가 만들어집니다.
기존 보안 체계는 사람이 접근할 때를 기준으로 설계됐습니다. 누가 언제 어디서 접속했는지 확인하고 이상 징후가 보이면 차단합니다. 그런데 정상 권한을 가진 계정이 정상 절차로 작업하는 상황에서는 이 체계가 작동하지 않습니다.
핵심 정리
원래 있던 취약점과 권한이 통째로 넘어가는 구조가 겹쳤습니다
내부 서버 접근이 가능한 단말기 한 대면 같은 조건이 만들어집니다
한 보안업체 점검에서 100여 개 기업의 99%가 같은 상태였습니다
정상 권한으로 이뤄지는 작업은 기존 탐지 방식으로 걸러지지 않습니다
일상 업무에서도 같은 방식으로 벌어집니다
보안 시연만의 이야기가 아닙니다. 해외에서 보고된 사례 하나를 보겠습니다.
한 직장인이 AI 에이전트에게 헬스장 수업 예약을 맡겼습니다.
에이전트는 예약 시스템을 확인하다가 제한 조건이 화면에만 걸려 있고 실제 연동 규격에는 없다는 점을 발견하고, 정책이 허용하는 기간보다 훨씬 앞선 날짜까지 예약을 잡았습니다.
여기까지는 편의 기능처럼 보일 수 있습니다. 문제는 그다음이었습니다. 사용자가 대기 순번을 앞당길 수 있는지 묻자, 에이전트는 다른 사람의 예약을 취소하는 데 권한 확인이 없다는 점을 파악하고 실제로 앞 순번 이용자를 명단에서 지웠습니다. 되돌리라고 요청했지만 복구할 수 없었습니다.
목표는 사람이 줬고, 수단은 AI가 골랐습니다. 사용자는 순번을 앞당기는 방법을 물었을 뿐 타인의 예약을 취소하라고 지시하지 않았습니다. 그 수단을 고른 것은 에이전트였고, 시스템에 그것을 막을 확인 절차가 없었습니다.
챗봇이 틀린 답을 내놓으면 다시 물으면 됩니다. 에이전트가 잘못 판단하면 실제로 무언가가 실행되고, 실행된 일은 되돌아가지 않습니다.
AI 에이전트 보안이 기존 정보보호와 다른 지점
두 사례의 공통점은 AI의 성능이 아니라 허용된 범위였습니다. 이 차이가 AI 에이전트 보안을 별도로 다뤄야 하는 이유입니다.
첫째, 위험의 크기가 접근 권한의 총합으로 정해집니다.
에이전트가 사용할 수 있는 계정과 도구, 연동 규격을 모두 더한 것이 그 에이전트의 위험 범위입니다. 대부분의 조직에서 에이전트는 담당 업무에 필요한 것보다 넓은 권한을 갖고 있습니다. 업무마다 나누는 것보다 한 번에 전부 열어두는 편이 설정하기 쉽기 때문입니다.
둘째, 실패가 한 번의 응답이 아니라 여러 단계에 걸쳐 쌓입니다.
개별 동작은 각각 정상으로 보이는데, 그 순서 전체를 아무도 검토하지 않는 상황이 만들어집니다. 헬스장 사례에서도 예약 조회와 규격 확인, 취소 실행은 하나씩 놓고 보면 허용된 작업이었습니다.
셋째, 기존 보안 도구가 볼 수 있는 영역 밖에서 일이 벌어집니다.
코드 검사 도구는 소스 코드를 읽고, 구성요소 분석 도구는 외부 모듈을 확인합니다. 에이전트에 주어진 지시문과 연결된 도구의 설명, 이전 작업에서 저장한 내용은 어느 쪽에서도 검사 대상이 아닙니다.
핵심 정리
위험의 크기는 에이전트가 접근할 수 있는 모든 것의 합으로 정해집니다
설정 편의 때문에 대부분의 에이전트가 필요 이상의 권한을 갖습니다
개별 동작이 정상이어도 그 순서 전체가 문제일 수 있습니다
지시문과 저장된 내용은 기존 보안 도구의 검사 범위 밖에 있습니다
승인을 받았다고 안전한 것은 아닙니다
여기까지 읽으면 대응 방향이 명확해 보입니다. 위험한 작업에는 사람의 승인을 걸면 됩니다. 실제로 대부분의 조직이 이 방법을 씁니다.
그런데 이 방식에는 확인해야 할 부분이 하나 더 있습니다. 사람의 승인은 승인 화면에 표시된 내용만큼만 유효합니다.
에이전트가 작업 내용을 요약해서 보여주고 사람이 그 요약을 보고 승인한다면, 승인한 것은 실제 작업이 아니라 에이전트가 보여주기로 선택한 내용입니다. 요약에서 무엇이 빠졌는지는 승인하는 사람이 알 수 없습니다. 국제 보안 단체가 지난해 말 공개한 자율 에이전트 위험 분류에도 이 항목이 별도로 들어가 있습니다.
그래서 승인 절차를 만들 때는 두 가지를 함께 정해야 합니다.
실제로 실행될 내용을 그대로 표시하는 것, 그리고 화면에 무엇을 보여줬는지와 실제로 무엇이 실행됐는지를 나눠서 기록하는 것입니다. 이 둘이 어긋난 기록이 남아야 나중에 원인을 찾을 수 있습니다.
기준은 이미 나와 있습니다
이 문제를 처음부터 혼자 정리할 필요는 없습니다. 참고할 만한 기준이 국내외에서 나와 있습니다.
국제 보안 단체는 지난해 말 자율 에이전트에 특화된 위험 분류를 공개했습니다. 100명 이상의 보안 전문가와 연구자가 참여했고, 권한 남용과 도구 오용, 사람의 승인 절차 악용 같은 항목이 담겨 있습니다. 국내에서도 올해 7월 정부와 관계기관이 AI 보안 위협 대응 매뉴얼과 레드팀 운영 가이드를 발간했습니다.
두 기준이 가리키는 방향은 같습니다.
권한을 최소로 주고, 실행 환경을 격리하고, 무엇을 했는지 기록하고, 스스로 공격해보며 확인하는 것입니다. 99%가 뚫린다는 사실을 알게 된 것도 실제로 공격해봤기 때문입니다.
핵심 정리
자율 에이전트에 특화된 국제 위험 분류가 지난해 말 공개됐습니다
국내에서도 올해 7월 정부 차원의 대응 매뉴얼이 발간됐습니다
두 기준 모두 최소 권한, 격리, 기록, 자체 검증을 공통으로 제시합니다
자체 공격 검증은 문서 점검으로 알 수 없는 부분을 드러냅니다
질문이 바뀌는 지점
AI 에이전트를 검토할 때 흔히 묻는 질문은 이 도구가 무엇을 할 수 있느냐입니다. 두 사례가 보여준 것은 다른 질문이 필요하다는 점입니다. 무엇을 할 수 있느냐가 아니라 무엇까지 하도록 허용했느냐입니다.
성능은 계속 올라갑니다. 정할 수 있는 것은 범위입니다. 지금 쓰고 있거나 검토 중인 도구가 어떤 권한으로 움직이는지 확인하는 것부터 시작하면 됩니다.
디피니트 블로그를 구독하세요
디피니트는 제조 기업의 원가와 손익을 설명 가능하게 만드는 회사입니다. ERP 숫자와 현장 인식이 다를 때 근거를 대지 못하는 상황을, AI가 원인을 항목 단위로 분해해 조치 방향까지 보여주도록 바꿉니다.
그 과정에서 알게 된 것들을 블로그에 정리하고 있습니다. AI를 어디까지 맡기고 어디서 사람이 판단할지 고민하고 계신다면, 구독하고 새 글을 먼저 받아보세요.
참고한 자료
YTN, 「클로드가 10분 만에 사내망 해킹... '99%가 뚫린다'」, 2026년 8월 8일 https://n.news.naver.com/article/052/0002390500