2025년 지금, 공공기관에서의 AI 챗봇 도입은 이제 선택이 아닌 필수가 되고 있습니다.
특히 2023년부터 본격화된 생성형 AI 기술의 등장으로 중앙부처, 지자체, 공공기관들이 앞다투어 AI 챗봇을 도입하고 있는데요. 초기에는 단순히 민원 응대용으로 시작했던 AI 챗봇이 이제는 내부 행정 업무 효율화, 정책 분석, 전문 지식 제공 등 다양한 영역으로 그 역할을 확장하고 있습니다.
물론 모든 기관의 AI 챗봇 도입이 성공적인 것은 아닙니다. 오늘은 주요 공공기관의 AI 챗봇 도입 사례를 살펴보며 초기 시행착오와 이를 극복한 성공 전략을 함께 알아보겠습니다.
먼저 사례를 알아보기 전에, 공공기관의 AI 챗봇 도입 장점에 대해 알아보겠습니다.
01. 공공기관 AI 챗봇 도입 장점
이제는 생성형 AI 서비스가 민간 분야를 넘어 중앙부처, 지자체, 공공기관, 공기업 등 다양한 공공 부문에서도 활발히 활용되고 있습니다. 공공부문에서 AI 챗봇을 도입했을 때 얻을 수 있는 주요 장점을 살펴보겠습니다.
1) 24시간 서비스 제공
생성형 AI 챗봇은 언제든지 이용할 수 있어, (내부용 챗봇이라면) 직원 혹은 (외부용 챗봇이라면) 시민들이 필요할 때 챗봇을 통해 원하는 정보를 즉시 얻을 수 있습니다. 이는 공공기관의 서비스 접근성을 크게 향상시킵니다. 특히 야간이나 주말, 공휴일에도 중단 없는 서비스를 제공할 수 있어 시민 만족도를 높이는 데 기여합니다.
2) 신속한 정보 제공
챗봇은 반복적인 질문에 대해 즉각적으로 답변할 수 있어, 민원 처리 시간을 단축시킵니다. 시민들은 복잡한 절차 없이 빠르게 필요한 정보를 얻을 수 있습니다. 또한 신입직원들을 옆에서 도와주는 업무 도우미 역할을 할 수도 있는데요. 복잡하고 난해한 업무를 신속하게 처리할 수 있도록 관련 정보를 직원들에게 제공해줄 수 있습니다.
3) 행정 효율성 향상
공공기관의 내부 행정 업무는 다양한 규정과 절차를 따르는 경우가 많습니다. AI 챗봇은 방대한 내부 규정과 지침을 학습하여 직원들이 업무 중 필요한 정보를 신속하게 찾을 수 있도록 지원합니다. 이는 행정 처리 시간을 단축시키고, 담당자의 업무 부담을 경감시켜 더 중요한 업무에 집중할 수 있게 해줍니다.
4) 일관된 정보 제공
공공기관에서는 동일한 질문에 대해 담당자에 따라 다른 답변이 제공되는 경우가 있습니다. AI 챗봇은 학습된 내용을 바탕으로 일관된 정보를 제공하므로, 정보의 일관성과 신뢰성을 높이는 데 기여합니다. 이는 민원인의 혼란을 줄이고 행정 서비스의 품질을 향상시킵니다.
5) 데이터 기반 의사결정 지원
고도화된 AI 챗봇은 단순한 질의응답을 넘어 데이터 분석과 패턴 인식을 통해 의사결정을 지원할 수 있습니다. 특히 정책 개발이나 사업 계획 수립 시 관련 데이터를 빠르게 분석하여 인사이트를 제공함으로써, 더 효과적인 정책 결정에 기여할 수 있습니다.
02. 국내 공공부문 AI 챗봇 도입 사례 심층 분석
이제 실제 국내 공공기관에서 AI 챗봇을 도입한 사례를 살펴보겠습니다. 각 기관별로 도입 배경과 초기 성과, 그리고 직면했던 도전과제와 이를 극복한 방법에 대해 알아보겠습니다.
1) 한국과학기술기획평가원의 'KISTEP GPT', 정책 분석의 새로운 지평
도입 배경
과학기술정책 싱크탱크인 한국과학기술기획평가원(KISTEP)은 생성형 AI를 업무에 선제적으로 도입한 선도 기관입니다.
정병선 KISTEP 원장은 ‘국가적 인사이트를 제시하는 기관으로서 누구나 AI를 쉽게 쓰는 시대에 앞장서야 한다’는 철학 아래, 2023년 하반기부터 오픈소스 LLM 모델들을 활용해 내부용 AI 챗봇 'KISTEP GPT'를 개발했습니다.
기술적 특징과 주요 기능
KISTEP GPT는 단순한 질의응답을 넘어 과학기술 정책 업무 전반에 걸친 다양한 기능을 제공합니다.
지능형 분석 시스템: 방대한 국가연구개발사업 데이터베이스를 학습하여 자연어 질의에 대응
글로벌 S&T 모니터링: 해외 주요 기관 웹사이트와 최신 뉴스를 크롤링하여 과학기술 이슈 분석
보고서 요약 및 생성: 각종 국내외 보고서 내용 찾기, 요약, 보고서 초안 작성 지원
멀티모달 지원: 텍스트뿐 아니라 이미지, 음성 입력까지 지원하는 서비스로 발전 중
실질적 효과와 확산
과거에는 관련 부서와 분야별 전문가들이 수작업으로 오랜 시간에 걸쳐 수행하던 분석 업무를 AI가 몇 분 내에 처리함으로써, 정책 기획의 데이터 기반 의사결정이 한층 강화되었습니다.
KISTEP은 직원들을 대상으로 정기 AI 활용 교육과 사내 AI 활용사례 경진대회를 개최하는 등 조직문화 측면에서도 AI 역량을 끌어올리고 있으며 이러한 선도적 노력으로 관계 부처에서도 KISTEP 사례를 벤치마킹하는 등 파급효과가 나타나고 있습니다.
2) 경상북도의 '챗경북', 진화하는 행정 디지털 비서
도입 배경과 초기 상황
경상북도는 2023년 3월, 전국 지자체 최초로 생성형 AI 기반 챗봇 '챗경북'을 공개했습니다. 경북도와 경북연구원이 협력하여 개발한 이 시스템은 경북의 행정·정책 데이터를 학습시켜 공무원의 업무 효율성을 높이는 것을 목표로 했습니다.
초기에는 큰 관심을 끌며 출시 첫 달에만 약 3만 건의 질의가 발생했습니다. 이철우 도지사는 ‘단순 반복업무는 AI에 맡기고 공무원은 창의적 업무에 몰두해야 한다’며 챗경북을 개인비서처럼 활용하도록 독려했습니다.
직면한 문제점
초기 버전은 답변의 정확성과 실용성 측면에서 한계를 보였습니다. 출시 후 몇 개월 만에 이용률이 급격히 감소했는데, 4월에는 1만 건대로 떨어졌고, 9월에는 첫 달 대비 3% 수준인 980여 건에 그쳤습니다. 당시 일각에서는 예산을 투입했지만 효용을 찾지 못한다는 비판도 제기되었습니다.
개선 과정과 현재 성과
이러한 문제를 해결하기 위해 경북도와 경북연구원은 2024년 '챗경북 2.0' 업그레이드를 진행했습니다. 주요 개선 사항은 다음과 같습니다:
보도자료 초안 작성: 기존 1시간 걸리던 작업을 3분 내로 단축
사업건의조서 작성 지원: 업무 양식에 맞는 문서 자동 생성
행정문서 요약 기능: 방대한 문서를 핵심만 추출하여 요약
다국어 번역 지원: 26개국 언어 번역으로 국제 업무 지원
경북도 유튜브 강연 Q&A: 영상 콘텐츠 분석 및 질의응답 제공
챗경북 2.0은 실제 행정 업무 프로세스에 깊이 통합되어, 직원들의 반복 업무를 크게 줄이는 성과를 보이고 있습니다. 내부 직원들은 ‘행사 계획안을 파일로 업로드하면 1~2분 내 보도자료 초안이 작성되고 약간의 문구만 손보면 된다’며 높은 만족도를 보이고 있습니다.
현재 챗경북은 경북도 행정 전반의 디지털 비서로 자리매김하고 있으며 축적된 데이터를 바탕으로 예산지침 Q&A 등 전문분야로도 확대 개발되고 있습니다.
03. 서울시여성가족재단의 DARVIS 도입 사례, AI 챗봇의 힘
앞서 살펴본 공공기관들이 다양한 방식으로 AI 챗봇을 활용하고 있는 가운데, 디피니트의 DARVIS를 도입한 서울시여성가족재단의 사례는 특히 주목할 만합니다.
급성장하는 조직, 정체된 행정 인력
서울시여성가족재단은 5년간 직원이 100명에서 220명으로 2배, 예산은 100억에서 400억으로 4배 증가했지만 행정 인력은 거의 증가하지 않았습니다. 이로 인해 규정 문의, 예산 관련 질문, 행정 처리 안내 등 반복적인 업무로 행정 담당자들의 업무 부담이 크게 증가했습니다.
기업용 AI 챗봇 DARVIS 도입, 60여 개 문서가 AI 지식으로
디피니트는 서울시여성가족재단의 문제 해결을 위해 맞춤형 접근법을 제시했습니다. 내부 규정집, 조례, 예산 자료 등 60여 개 핵심 문서를 AI가 학습하도록 했는데, 특히 공공기관에서 많이 사용하는 한글 파일(HWP)을 변환 없이 원본 그대로 처리할 수 있는 기술이 큰 강점으로 작용했습니다.
빠른 PoC 과정을 통해 표 데이터와 같은 복잡한 문서 구조까지 정확히 이해하는 시스템을 구축했고 파일 검색 성능 96%, 청크 검색 성능 88%라는 높은 정확도를 달성했습니다.
가시적 성과, 즉각적인 업무 효율화
기업용 AI 챗봇 DARVIS 도입으로 서울시여성가족재단은 다음과 같은 변화가 예상됩니다.
문의 응대 시간: 평균 4시간 → 즉시 응답(24시간 이용 가능)
정보 검색 시간: 15분 → 30초로 단축
복지팀 업무 효율: 주당 10시간(월 40시간) 추가 확보
규정 해석 일관성: 담당자별 상이한 해석 문제 해소
04. 효율적인 공공기관 AI 챗봇 도입 전략
지금까지 살펴본 다양한 사례들을 통해 알 수 있듯이, 공공기관의 AI 챗봇 도입은 단순한 기술 도입을 넘어 조직의 업무 방식과 문화에 영향을 미치는 중요한 변화입니다. 이러한 변화를 성공적으로 이끌기 위한 전략을 정리해보겠습니다.
1) 명확한 목적과 핵심 사용 사례 정의
가장 먼저 고려해야 할 점은 AI 챗봇을 통해 해결하고자 하는 핵심 문제와 목적을 명확히 정의하는 것입니다.
각 기관의 특성과 실제 사용자들의 필요에 맞는 핵심 사용 사례(Use Case)를 2-3가지로 명확히 정의하는 것이 중요합니다. 모든 문제를 한 번에 해결하려는 접근보다는, 가장 효과가 클 것으로 예상되는 영역에 집중하는 전략이 성공 확률을 높입니다.
2) 기술적 접근법 선택: API vs 자체 모델
챗경북과 KISTEP GPT는 자체 또는 오픈소스 모델을 활용한 접근법을, 서울시여성가족재단의 DARVIS는 특화된 기술이 결합된 방식을 선택했습니다. 각 접근법에는 장단점이 있으므로,기관의 예산, 보안 요구사항, 필요한 기능에 따라 적절한 기술 방식을 선택해야 합니다.
특히 공공기관은 보안과 데이터 이슈가 중요하므로, 민감한 정보를 다루는 경우 온프레미스 설치 옵션이 있는 솔루션을 고려하는 것이 좋습니다.
3) 사용자 피드백 기반의 점진적 발전
챗경북의 사례에서 볼 수 있듯이, 초기 버전에서의 한계점을 사용자 피드백을 통해 개선해 나가는 과정이 중요합니다. 처음부터 완벽한 시스템을 기대하기보다는, 명확한 피드백 수집 체계를 갖추고 지속적으로 개선해 나가는 접근법이 효과적입니다.
05. 공공기관 AI 챗봇의 미래 전망
앞으로 공공부문의 AI 챗봇은 단순 정보 제공을 넘어 더욱 지능적이고 통합된 행정 지원 시스템으로 발전할 것으로 예상됩니다. 특히 다음과 같은 발전 방향이 주목됩니다:
통합 행정 시스템과의 연계: ERP, 그룹웨어 등 내부 시스템과 연동되어 실시간 데이터 기반 응답 제공
지능형 업무 자동화: 단순 응답을 넘어 결재 처리, 보고서 작성 등 실제 업무 수행까지 지원
멀티모달 상호작용: 이미지, 음성 인식 등 다양한 입력 방식 지원
AI 에이전트 간 협업: 부서별, 업무별 특화 AI 에이전트들이 협업하는 형태로 발전
디피니트는 DARVIS를 통해 서울시여성가족재단 외에도 다양한 공공기관과 협업하며, 문서 기반 AI 챗봇의 새로운 표준을 만들어가고 있습니다. 한글 문서 처리, 복잡한 표 데이터 이해, 정보 출처 표시 등 공공기관에 특화된 기능들을 통해 차별화된 가치를 제공하고 있습니다.
공공기관의 AI 도입을 고민하고 계신다면 각 기관의 특성과 니즈에 맞는 맞춤형 접근이 중요합니다.
디피니트는 PoC부터 단계적 도입까지, 공공기관의 디지털 전환을 위한 최적의 파트너가 되어드리겠습니다.
AI챗봇 도입, 막연하게 느껴지시나요?
디피니트와 함께 PoC로 먼저 경험해보세요.
여러분의 회사에 맞는 최적의 방안을 함께 찾아 드리겠습니다.
👇 아래 링크를 통해, 서비스 소개서를 보시고 편하게 문의해주세요.
