사내 LLM, 보안과 성능 사이에서 고민이라면? 선택 기준 3가지!

사내 LLM 도입을 검토할 때 가장 먼저 확인해야 할 것은 무엇일까요? 모델 성능도, 가격도 아닙니다. 바로 '우리 회사 데이터가 어디서 처리되는가'입니다.

많은 기업이 ChatGPT의 편리함에 끌리지만, 정작 도입을 망설이는 이유는 보안입니다. 고객 정보, 영업 기밀, 내부 매출 수치가 외부 서버로 전송되는 것을 감수할 수 있는 기업은 많지 않습니다.

그렇다고 무조건 온프레미스형 LLM을 선택하면 될까요? GPU 서버 구축비와 운영 인력, 관리 부담을 고려하면 그것도 쉬운 결정이 아닙니다.

이 글에서는 사내 LLM 선택의 핵심인 보안 규정, 데이터 형태, 인프라 자원이라는 3가지 기준으로 체계적으로 접근하는 방법을 정리합니다.

사내 LLM 두 가지 유형, 무엇이 다를까?

사내 LLM은 크게 두 가지로 나뉩니다. 외부 클라우드를 사용하는 SaaS형과 사내 서버에 직접 설치하는 온프레미스형입니다.

SaaS형 LLM

GPT-4o, Claude 3, Gemini 같은 모델이 여기에 속합니다. 외부 클라우드 API를 호출하는 방식으로, 즉시 사용할 수 있고 별도 인프라가 필요 없습니다. 최신 성능이 자동으로 업데이트되며 관리도 편리합니다.

하지만 데이터가 외부 서버로 전송되기 때문에 유출 위험이 있고, 망 분리 환경에서는 사용할 수 없습니다. 사용량당 과금 방식이라 장기적으로 비용이 증가할 수 있습니다.

보안 규제가 낮은 업종이나 빠른 도입이 필요한 경우에 적합합니다.

온프레미스형 LLM

Llama 3, Mistral, Solar 같은 모델을 사내 서버나 프라이빗 클라우드에 직접 설치하는 방식입니다. 데이터가 사내망을 벗어나지 않아 외부 유출이 완전히 차단되고, 기업 특화 맞춤 최적화도 가능합니다.

다만 GPU 서버 같은 초기 인프라 투자가 필요하고, 데이터 사이언티스트나 MLOps 엔지니어 같은 운영 인력도 필요합니다. 최신 모델 업데이트는 수동으로 해야 합니다.

금융, 제조, 공공기관처럼 보안 규제가 엄격한 업종이나 대량 데이터를 처리하는 기업에 적합합니다.

우리 회사에 맞는 사내 LLM 선택 기준 3가지

사내 LLM 선택은 단순히 똑똑한 모델을 고르는 것이 아닙니다. 우리 회사의 데이터 환경에 따라 결정해야 합니다.

1. 보안 규정 수준부터 확인하세요

금융, 국가 보안 시설, 제조 기밀을 다루는 기업은 외부 클라우드 접속 자체가 규정 위반일 수 있습니다. 망 분리가 의무라면 온프레미스형 LLM이 유일한 선택지입니다.

민감한 고객 개인정보나 영업 기밀을 다룬다면 데이터가 회사 밖으로 나가지 않도록 폐쇄망 환경이 필요합니다. 금융위원회나 개인정보보호법 같은 규제 준수가 필요한지, 내부 보안 정책상 외부 API 사용이 가능한지 먼저 확인하세요.

2. 데이터 형태를 파악하세요

규정집, 매뉴얼, 보고서 같은 문서가 많다면 RAG(검색-생성-증강) 성능이 우수한 모델이 필요합니다. 사내 문서를 검색해 근거를 제시하며 답변하는 방식입니다.

반대로 ERP, MES 같은 시스템의 수치 분석이 핵심이라면 txt2SQL 정확도가 높은 모델이 필요합니다. "지난달 서울 지역 매출"처럼 자연어 질문을 정확한 SQL 쿼리로 바꿔 데이터베이스에서 수치를 가져오는 기술입니다.

문서도 많고 DB도 중요하다면 두 가지를 모두 지원하는 하이브리드 솔루션을 선택해야 합니다. 여러 시스템을 동시에 조회할 필요가 있는지도 고려하세요.

3. 인프라 자원을 점검하세요

온프레미스형 LLM을 운영하려면 GPU 서버가 필요합니다. 사내에 GPU 서버가 없다면 초기 투자 비용이 추가됩니다.

데이터 사이언티스트, MLOps 엔지니어 같은 AI 모델 운영 인력도 확보되어 있어야 합니다. 모델을 관리하고 최적화하려면 전문 인력이 필수입니다.

만약 인프라나 인력이 부족하다면 SaaS형 LLM이나 관리형 온프레미스 솔루션(업체가 구축과 운영을 대행)을 고려할 수 있습니다.

사내 LLM 업체 선정, 이것만은 꼭 확인하세요

모델 성능보다 중요한 것은 기업용 시스템으로서 갖춰야 할 운영 관리 능력입니다. 똑똑한 AI보다 우리 회사 환경에 안전하게 통합되는 AI가 중요합니다.

데이터 연결 방식을 확인하세요

물리적 통합은 모든 시스템의 데이터를 한곳으로 모으는 방식입니다. 구축에 6개월 이상 걸리고 비용도 많이 듭니다.

논리적 연결은 기존 시스템을 그대로 두고 AI가 실시간으로 읽어오는 방식입니다. 평균 1.5개월이면 구축할 수 있고 훨씬 경제적입니다.

기존 ERP, MES를 건드리지 않고도 연결 가능한지, 여러 시스템에 흩어진 데이터를 한 번의 질문으로 조회할 수 있는지 확인하세요.

권한 제어 체계를 점검하세요

사원이 임원 급여 정보를 조회하려고 하면 즉시 차단되어야 합니다. 역할 기반 접근 제어(RBAC)가 세밀하게 구현되어 있는지 확인하세요.

부서별, 직급별로 조회 가능한 데이터 범위를 다르게 설정할 수 있는지, 기존 계정 관리 시스템(AD/LDAP)과 연동 가능한지, 민감 정보 접근 시도 시 알림 기능이 있는지 체크해야 합니다.

보안 및 감사 기능을 살펴보세요

누가, 언제, 어떤 데이터를 조회했는지 모든 이력이 투명하게 기록되어야 합니다. 감사 로그가 상세하게 남는지, 기존 보안 솔루션(NAC, DRM, 방화벽)과 연동되는지 확인하세요.

데이터를 조회한 후 즉시 삭제하는 휘발성 처리가 되는지, 이상 접근 패턴을 탐지하는 기능이 있는지도 중요합니다.

할루시네이션 제어 능력을 검증하세요

AI가 자신 있게 틀린 답을 하는 환각 현상을 막으려면, 사내 문서나 DB라는 명확한 출처를 함께 제시해야 합니다.

답변과 함께 근거 문서나 데이터 출처를 제시하는지, txt2SQL 정확도가 검증되었는지, 답을 모를 때 명확히 "모른다"고 답하는지 확인하세요.

다비스(DARVIS)가 제안하는 사내 LLM 솔루션

다비스(DARVIS)는 GUARDIA 보안 시스템을 통해 폐쇄망에 설치되어 데이터 외부 유출을 원천 차단합니다. 부서별, 직급별로 세밀한 접근 권한을 제어하고, 누가 언제 어떤 데이터를 조회했는지 전체 이력을 투명하게 기록합니다.

기존 ERP, MES, HR 시스템을 건드리지 않고 논리적으로만 연결합니다. 물리적 데이터 통합 없이 실시간으로 연결하기 때문에 평균 1.5개월이면 구축할 수 있습니다. 데이터 마이그레이션 작업이 필요 없어 비용과 시간이 절약됩니다.

txt2SQL 기술로 자연어 질문을 정확한 SQL 쿼리로 변환하여 DB에서 실시간 수치를 조회합니다. RAG 기술로 사내 문서를 검색해 근거를 제시하며 답변합니다. 모든 답변에 출처를 명시하여 할루시네이션을 최소화합니다.

서울시여성가족재단, 진평회계법인, 비즈니스PT 등 공공기관부터 전문직, 교육, 제조업까지 다양한 업종에서 검증된 레퍼런스를 보유하고 있습니다.

사내 LLM 선택, 3가지만 기억하세요

보안 규정부터 확인하세요. 망 분리 의무가 있다면 온프레미스형이 유일한 선택입니다. 보안 규제 수준에 따라 SaaS형과 온프레미스형을 구분하세요.

데이터 형태를 파악하세요. 문서 중심이면 RAG 성능, DB 중심이면 txt2SQL 정확도를 우선 확인하세요. 두 가지 모두 중요하다면 하이브리드 솔루션을 선택하세요.

업체 선정 시 네 가지를 점검하세요. 데이터 연결은 논리적 연결이 가능한가, 권한 제어는 부서와 직급별 세밀한 설정이 되는가, 감사 기능은 투명한 로그 기록이 남는가, 할루시네이션 제어는 출처를 명시하는가를 확인하세요.

사내 LLM은 단순히 AI를 들이는 것이 아닙니다. 우리 회사의 데이터를 안전하게 활용하는 시스템을 구축하는 것입니다. 보안을 지키면서도 실무 데이터에 가까이 접근할 수 있는 솔루션, 그것이 진짜 기업용 사내 LLM입니다.

실용적인 AI 활용 인사이트 및 최신 트렌드를 알아보고 싶으시다면 디피니트 다비스(DARVIS) 블로그를 구독해 보세요. AI 활용 노하우와 실제 사례를 통해 업무 생산성을 높이는 방법을 공유합니다.

더 많은 AI 인사이트를 보고 싶으시다면 'AI 인사이트 더 보러가기'를 통해 둘러보시면 도움이 되실 겁니다. 감사합니다.