CWN(CHANGE WITH NEWS) - 2023년 데이터 마이그레이션 트렌드, 이 5가지 먼저 짚고 가자

데이터 마이그레이션은 저장 시스템과 데이터베이스, 애플리케이션, 신규 서버 등을 이관할 때 종종 언급되는 비즈니스 프로젝트 안건이다. 데이터 마이그레이션 과정은 날이 갈수록 복잡해지는 추세이다. 이에, 외신 테크리퍼블릭이 2023년 주목해야 할 데이터 마이그레이션의 주요 동향 5가지를 설명했다.

첫 번째 트렌드는 데이터 레이크하우스(data lakehouse)로의 전환이다. 데이터 레이크하우스는 데이터브릭스(Databricks)가 처음 소개한 개념으로, 데이터 마이그레이션의 필요성 자체를 제거하는 데이터 마이그레이션 최대 혁신이다. 기존에는 데이터 레이크(data lake)에서 데이터를 추출, 변환, 적재해 데이터 웨어하우스(data warehouse)로 옮겼다면, 데이터 레이크하우스는 데이터 레이크를 데이터 웨어하우스로 변환한다.

데이터브릭스 임원 데이비드 메이어(David Meyer)는 인터뷰에서 “데이터 레이크는 여러 장점이 있지만, 데이터와 인공지능을 대규모로 활용할 수 있도록 하는 특성이 부족하다”라며, 관리 용이성 부족과 ACID(Atomic, Isolated, Consistent, Durable) 미준수, 트랜잭션 지원 등의 약점을 지적했다.

데이터 레이크 계층 위에 데이터브릭스의 오픈소스 델타 레이크(Delta Lake)와 같은 계층을 통합하면 기업은 다른 저장소로 데이터를 복제하지 않더라도 방대한 데이터를 머신러닝 애플리케이션에 활용할 수 있다.

두 번째 트렌드는 클라우드 마이그레이션을 통해 데이터 손실을 피하고 저장 능력을 확대하는 것이다. 시장 분석 기관 IDC와 가트너(Gartner)는 클라우드 비용 지출 비중이 전체 정보통신 시장의 10% 미만이지만, 다른 분야보다 급격한 성장세를 기록하는 추세이다.

클라우드 마이그레이션이 주목받는 이유는 다양하다. 우선 데이터를 온프레미스 환경에 저장하면 데이터 손실로 이어질 수 있다. 온프레미스 시스템은 백업 정책이 있더라도 백업이 전적으로 자동화된 완전 관리형 클라우드 환경보다 데이터 손실이 발생할 확률이 높다.

데이터를 클라우드로 이관하면 더욱 다양한 데이터 구조를 처리할 수 있을 뿐만 아니라 처리 속도도 높아진다. 또한, 클라우드 시스템은 무한한 용량에 가까운 데이터 저장이 가능해 온프레미스 방식에서 데이터 급증이 저장 능력 소실로 이어지는 것과 대비된다.

주요 클라우드 제공업체는 원활한 데이터 마이그레이션을 지원하는 다양한 서비스를 제공한다. 기업이 데이터를 서로 다른 제공업체의 저장소나 데이터베이스로 옮기는 과정을 돕는 전문 시스템 통합 업체도 다수 존재한다.

세 번째 트렌드는 기존 온프레미스 데이터와 새로운 클라우드 소비자 데이터를 통합하는 움직임이다. 데이터를 클라우드로 이관해야 하는 흐름을 견인한 부분적인 이유는 이미 클라우드에 저장한 데이터양이 많다는 점과 데이터가 클라우드에서 발생한다는 점이다.

소비자와 관련된 기업의 가장 중요한 데이터가 클라우드 데이터인 경우가 많아 기존의 온프레미스 데이터를 클라우드 환경으로 이전하는 데이터 마이그레이션이 트렌드로 떠올랐다. 다시 말해 사내 데이터 레이크와 데이터 레이크하우스를 클라우드로 전환하는 것이다. 기업은 이 과정에서 소비자 데이터에 대한 더욱 심층적이고 종합적인 분석이 가능해진다.

네 번째 트렌드는 비정형 데이터 처리에 최대한 활용하기 위해 데이터 마이그레이션을 이용하는 것이다. 위에서 언급한 소비자 관련 데이터의 상당 비중은 반정형 데이터 혹은 비정형 데이터이다. 대표적으로 지형 공간 데이터, 센서 및 소셜미디어 데이터 등이 속한다.

데이터는 관계형 데이터베이스로 관리하기 어려워서 비관계형 데이터베이스로 관리하는 사례가 증가하고 있다. 어느 데이터베이스를 이용하든 기업에서는 해당 데이터를 분석이 쉬운 형태로 전환할 수 있는 데이터 마이그레이션 기술을 찾고 있다.

마지막 다섯 번째 트렌드는 데이터 마이그레이션의 현대화 추세이다. 데이터 마이그레이션을 시작하는 기업은 사내에서 구축한 온프레미스 데이터베이스를 완전 관리형 데이터베이스로 옮기는 단계부터 시작한다. 일례로 자체 호스팅 MySQL 데이터베이스에서 아마존 RDS(Amazon Relational Database Service)로 변경할 수 있다.

본격적으로 마이그레이션을 실행하기 이전에 다른 데이터베이스를 이용하기로 한 시점에서 기업이 애플리케이션을 재설계하기로 하는 경우가 증가하고 있다. 다시 말해 데이터 마이그레이션은 데이터 저장, 관리, 인프라까지도 변환하는 작업을 동반한다.

[저작권자ⓒ CWN(CHANGE WITH NEWS). 무단전재-재배포 금지]