생성형 AI는 학습한 지식을 바탕으로 답하기 때문에, 사내 규정이나 최신 문서처럼 학습되지 않은 정보를 물으면 정확하게 답하기 어렵습니다. 이 한계를 보완하는 방법으로 많이 쓰이는 기술이 RAG입니다.
이 글에서는 RAG란 무엇인지, 작동 방식과 종류를 먼저 정리하고, 국내 도입 사례와 도입할 때 확인할 점을 살펴보겠습니다.
RAG란?
RAG란 검색증강생성(Retrieval-Augmented Generation)의 줄임말로, 언어모델이 답을 만들기 전에 외부 문서에서 관련 내용을 찾아 근거로 활용하는 기술입니다.
이 용어와 기본 틀은 Lewis 등이 2020년에 발표한 논문 'Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks'에서 제안됐습니다. 당시 Facebook AI와 UCL, 뉴욕대 연구진은 모델 안에 학습된 지식과 별도로 저장해 두고 검색해 쓰는 지식을 결합해 답을 만드는 방식을 제안했고, 개방형 질의응답 3개 과제에서 당시 최고 수준의 성능을 보였다고 기록되어 있죠.
기업에서는 사내 문서를 벡터, 즉 숫자로 표현한 형태로 바꿔 데이터베이스에 저장해 두고 질문이 들어오면 관련 내용을 찾습니다. 한 기사에서는 오류가 있으면 해당 항목을 수정하거나 삭제해 바로잡을 수 있다고 설명했습니다.
결국 RAG란 모델이 아는 것만으로 답하는 대신, 먼저 근거를 찾고 그 내용으로 답하게 하는 방식입니다.
RAG의 작동 방식
RAG는 크게 인덱싱, 검색, 생성의 세 단계로 이어집니다. 먼저 문서를 적당한 크기로 나누어 저장하는데, 이렇게 나눈 조각을 청크라고 합니다. 질문이 들어오면 질문과 관련된 청크를 찾고, 찾은 내용을 질문과 함께 언어모델에 전달해 답변을 만듭니다.
여기서 청크가 너무 짧으면 문맥이 부족하고 너무 길면 불필요한 내용이 섞이기 때문에, 청크 크기를 정하는 일이 검색 품질에 영향을 줍니다.
이렇게 작동 방식을 알면 RAG란 문서 준비부터 답변까지 이어지는 흐름이라는 점이 보이기 시작합니다.
RAG의 종류
Gao 등이 2023년에 발표한 서베이 논문은 RAG의 발전을 기본형(Naive RAG), 고급형(Advanced RAG), 모듈형(Modular RAG)으로 나누어 살펴봤습니다. 기본형은 인덱싱, 검색, 생성의 기본 흐름이고, 고급형은 검색 전후 처리로 품질을 높이며, 모듈형은 구성요소를 조합해 설계합니다.
그래프 RAG는 Edge 등이 2024년에 제안한 방식입니다. 기존 RAG가 데이터 전체의 주요 주제를 묻는 질문에 한계가 있었던 점을 보완해, 문서에서 지식그래프를 만들고 연결된 개체 묶음별 요약을 미리 만들어 둡니다. 질문이 들어오면 이 요약들로 부분 답변을 만든 뒤 종합합니다. 연구진은 약 100만 토큰 규모의 데이터셋에서 답변의 포괄성과 다양성이 기존 RAG보다 높았다고 보고했습니다.
에이전틱 RAG는 Singh 등이 2025년 서베이에서 정리한 방식입니다. 자율 에이전트를 RAG 과정에 넣어, 자기 평가와 목표 설정, 도구 사용, 여러 에이전트의 협업 같은 패턴으로 검색 방법과 작업 흐름을 상황에 맞게 조정합니다.
세 갈래는 같은 기준의 단계가 아닙니다. 기본형·고급형·모듈형은 파이프라인의 설계 방식, 그래프 RAG는 지식을 표현하는 방식, 에이전틱 RAG는 검색을 제어하는 방식의 구분입니다. 이처럼 RAG란 하나로 정해진 구조가 아니라 목적에 맞게 조합할 수 있는 방식입니다.
RAG 국내 사례 (1) - 서울시
그렇다면 RAG를 활용한 국내 사례를 살펴보겠습니다.
서울시는 2026년 5월부터 직원용 AI 도구를 본격 운영하기 시작했습니다. 보도자료에 따르면 270종의 행정 업무매뉴얼을 기반으로 RAG 체계를 구축해, 매뉴얼에 근거한 답변과 출처를 함께 보여주도록 설계했습니다.
직원은 이 도구로 질문하고, 문서를 요약·분석하고, 부서별 자료를 검색하며, 민원 답변 초안을 작성할 수 있습니다. 민감한 업무는 자체 LLM으로 처리하는 구조입니다.
여러 매뉴얼에 흩어진 내용을 하나의 질문창에서 찾고 근거까지 확인하게 한 사례입니다.
RAG 국내 사례 (2) - 우리은행
우리은행은 2025년 4월 직원용 'AI 지식상담 시스템'을 고도화했다고 밝혔습니다. 한 언론에 따르면 이번 고도화에서는 에이전틱 RAG와 추론 기능을 결합했습니다. 에이전틱 RAG는 AI가 스스로 목표를 설정하고 필요한 정보를 찾아 종합한 뒤 최적의 답변을 생성하는 기술이라고 설명했습니다.
직원은 규정과 업무 절차, 상품 정보를 질문할 수 있고, 영업지원 모바일 앱에서도 확인할 수 있습니다. 은행은 내부 기술로 외부 클라우드가 아닌 자체 인프라에 구축했다고 밝혔고, 신입 직원이 업무를 더 빠르게 익히고 반복 질문에 쓰는 시간이 줄 것으로 기대한다고 했습니다.
규정과 상품 정보처럼 정확한 근거가 필요한 질문에 RAG가 쓰이고 있다는 점을 보여 주는 사례입니다.
RAG 도입 시 확인할 점
그렇다면 RAG를 도입해야 할 때, 어떤 점을 고려하는 게 좋을까요?
한 기고문에서는 RAG 시스템의 품질이 지식 라이브러리에 좌우된다며, 문서를 최신 상태로 관리하고 메타데이터를 정리하는 것이 출발점이라고 소개했습니다. 검색 정밀도와 생성 결과의 정확도를 지속적으로 측정하고, 민감한 사내 데이터에는 접근 통제와 감사 로그를 두는 것도 요소로 꼽았습니다.
금융권에서는 기준도 마련되고 있습니다. 금융보안원은 2026년 10월 금융분야 AI 에이전트 보안 평가기준을 발표했습니다. 6개 분야 17개 점검 항목 가운데 '데이터 오염 공격 대응'에 학습·RAG 데이터 위변조 및 출처 검증이 점검 내용으로 들어 있습니다. 올해 말까지 시범 검증을 거쳐 2027년부터 정식 적용할 계획입니다.
RAG를 도입할 때는 어떤 문서를 연결할지와 그 문서를 어떻게 관리할지가 결과를 좌우합니다.
RAG는 생성형 AI가 내부 문서를 근거로 답하게 만드는 방법입니다
RAG란 모델이 학습한 지식에 더해 필요한 문서를 먼저 찾고 그 내용으로 답하게 하는 기술입니다. 서울시와 우리은행은 매뉴얼과 규정 같은 내부 문서를 근거로 답하는 데 RAG를 적용하고 있습니다.
앞으로는 에이전틱 RAG처럼 AI가 검색 방법까지 스스로 조정하는 방식으로 활용 범위가 넓어질 것으로 기대됩니다. 만약 이 글을 보시는 분들 중, RAG 도입을 검토하고 계시다면 어떤 문서를 연결할지, 그 문서를 어떻게 관리할지부터 정리해 보시면 좋을 것 같습니다.
실용적인 AI 활용 인사이트 및 최신 트렌드를 알아보고 싶으시다면 블로그를 구독해 보세요. 업무 현장에 적용할 수 있는 AI 활용 사례와 노하우를 공유합니다.
더 많은 AI 인사이트를 보고 싶으시다면 'AI 인사이트 더 보러가기'를 통해 둘러보시면 도움이 되실 겁니다. 감사합니다.