생성형 AI를 업무에 활용하려는 기업이 늘면서, 모델 못지않게 AI가 활용할 데이터를 어떻게 모으고 관리하느냐가 중요해졌습니다. 이와 함께 자주 언급되는 개념이 데이터 레이크입니다. 이 글에서는 데이터 레이크의 개념과 유래, 데이터 웨어하우스와의 차이, 구성 방식, 생성형 AI와의 관계, 국내 정책 동향을 순서대로 살펴봅니다.
데이터 레이크란
데이터 레이크는 정형, 반정형, 비정형 데이터를 원본 형태 그대로 한곳에 저장하는 중앙 저장소입니다. Google Cloud는 데이터 레이크를 대량의 정형·반정형·비정형 데이터를 원본 형식으로 저장하고 처리·분석하도록 설계된 중앙 저장소라고 설명합니다. AWS 역시 데이터를 먼저 구조화하지 않고 있는 그대로 저장할 수 있는 중앙 집중식 저장소로 소개합니다.
Azure 공식 문서를 참고해보면, 이 문서에서는 데이터의 종류를 구체적으로 보여 줍니다. 관계형 테이블은 정형 데이터, JSON·XML·로그 파일은 반정형 데이터, 이미지·오디오·영상은 비정형 데이터에 해당하며 데이터 레이크는 이를 모두 담을 수 있습니다. 데이터를 저장할 때 구조를 미리 정하지 않고, 필요할 때 변환해 쓰는 방식이 특징입니다.
데이터 레이크의 유래
데이터 레이크라는 개념은 2010년 10월 Pentaho의 James Dixon이 블로그 글 「Pentaho, Hadoop, and Data Lakes」에서 소개하면서 알려졌습니다. Dixon은 정제하고 포장해 바로 쓸 수 있게 만든 병물에 데이터마트를 비유하고, 데이터 레이크는 그보다 자연스러운 상태의 넓은 물이라고 설명했습니다. 정리된 형태로만 데이터를 다루던 방식에서 벗어나, 원본 상태의 데이터를 넓게 담아 두자는 발상이었습니다. 오늘날에는 여러 소스의 데이터를 모으는 기업 데이터 플랫폼의 개념으로 널리 쓰입니다.
데이터 웨어하우스·레이크하우스와의 차이
데이터 웨어하우스와의 가장 큰 차이는 구조를 적용하는 시점입니다. Azure 문서에 따르면 데이터 레이크는 원본 상태로 저장하고 필요할 때 변환하는 schema-on-read 방식이고, 웨어하우스는 데이터를 적재할 때 구조를 적용하는 schema-on-write 방식입니다.
용도에도 차이가 있습니다. 웨어하우스가 반복적인 비즈니스 리포팅과 정형 데이터의 SQL 분석에 최적화되어 있고, 데이터 레이크는 머신러닝에 필요한 다양한 원본 데이터를 다루는 데 강점이 있습니다. AWS는 일반적인 조직에 두 가지가 모두 필요하다고 안내합니다.
두 방식을 함께 쓰는 접근이 레이크하우스입니다. 원본 데이터를 담는 저장소의 유연성에 웨어하우스 수준의 쿼리 성능을 결합하는 방식으로, Azure와 Google Cloud 문서에서도 소개하고 있습니다.
데이터 레이크의 구성과 구축 흐름
데이터 레이크는 보통 수집, 저장, 카탈로그와 메타데이터 관리, 처리와 분석, 거버넌스의 흐름으로 구성됩니다. 여러 소스의 데이터를 원래 형식으로 모아 저장하고, 어떤 데이터가 있는지 파악할 수 있도록 카탈로그를 만든 뒤, 분석 도구가 이를 활용하게 합니다.
Azure 문서는 데이터를 단계별 층으로 나누는 메달리온 구조를 소개합니다. 원본에 가까운 상태로 담는 raw(bronze) 층, 검증하고
변환한 cleansed(silver) 층, 보고와 대시보드에 쓸 수 있도록 집계한 curated(gold) 층입니다. 이렇게 나누면 데이터 품질과 활용성을 단계적으로 높일 수 있습니다.
카탈로그와 거버넌스는 데이터를 찾고 믿고 쓸 수 있게 하는 장치입니다. AWS는 데이터를 분류하고 보호하는 체계와 접근 통제가 없으면 데이터를 찾을 수 없고 신뢰하기 어려운 데이터 늪지가 될 수 있다고 설명합니다. 그만큼 레이크를 만들 때 메타데이터와 거버넌스를 함께 갖추는 것이 중요합니다.
데이터 레이크와 생성형 AI
데이터 레이크는 AI와 머신러닝을 위한 원천 데이터를 모아 두는 기반으로 쓰입니다. Azure 문서는 탐색적 분석, 고급 분석, AI 모델의 학습과 파인튜닝이 대용량의 다양한 데이터를 필요로 하며, 데이터 레이크가 이를 뒷받침한다고 설명합니다. 텍스트와 이미지, 로그처럼 형태가 다른 데이터를 한곳에 모아 두면 활용 범위도 넓어집니다.
기업 내부 문서가 체계적으로 모여 있으면 RAG와 같은 활용으로 이어갈 수 있고, 문서 사이의 관계를 정리해 지식 그래프로 발전시키는 방법도 있습니다. 데이터 레이크는 이런 활용의 출발점이 되는 저장소입니다.
국내 정책 동향
정부도 AI 시대에 맞는 데이터 정책을 추진하고 있습니다. 보도에 따르면 2026년 5월 28일 데이터 관계장관회의에서 'AI 대전환 시대 데이터 정책 추진방향'이 발표되었습니다. 국가공유데이터 플랫폼과 기관 공유데이터 관리 시스템을 구축·고도화해 범정부 데이터 파이프라인을 만들겠다는 계획이 담겼습니다.
기존 AI허브 플랫폼은 'AI학습용데이터 통합제공시스템'으로 확대 개편해 공공·민간·정부사업에서 나온 AI 학습용 데이터를 모아 개방한다는 방향도 제시되었습니다. 이 내용은 추진 계획이며, 구체적인 구축 단계는 앞으로 진행될 예정입니다.
도입 시 확인할 점
데이터 레이크를 도입할 때는 데이터 품질, 메타데이터와 카탈로그, 접근 통제와 감사를 함께 설계하는 것이 좋습니다. Azure 문서는 데이터 레이크가 성숙할수록 메타데이터 관리와 보안, 거버넌스가 데이터 품질과 검색 가능성, 규정 준수를 지켜 준다고 설명합니다. 이 세 가지를 처음부터 함께 고려하면 데이터 레이크의 활용도를 높일 수 있습니다.
데이터 레이크는 AI가 활용할 데이터를 체계적으로 모아 두는 기반입니다
데이터 레이크는 다양한 원본 데이터를 한곳에 모아 분석과 AI 활용으로 잇는 기반입니다. 정부도 데이터 연계와 AI 학습용 데이터 제공 체계를 확대하고 있어, 기업이 데이터 관리 체계를 먼저 갖추어 두면 생성형 AI를 활용할 기회도 더 넓어질 것으로 기대됩니다.
실용적인 AI 활용 인사이트 및 최신 트렌드를 알아보고 싶으시다면 블로그를 구독해 보세요. 업무 현장에 적용할 수 있는 AI 활용 사례와 노하우를 공유합니다.
더 많은 AI 인사이트를 보고 싶으시다면 'AI 인사이트 더 보러가기'를 통해 둘러보시면 도움이 되실 겁니다. 감사합니다.