CWN(CHANGE WITH NEWS) - 빅데이터·데이터 분산 처리, 탄생 배경은?...어떤 방식으로 데이터 저장할까

2021년, 수많은 정보가 쏟아지고 있는 추세이다. 빅데이터는 많은 양의 데이터를 저장할 방법을 고민하면서부터 등장하기 시작했다.

처음에는 정형화된 수치 자료로 저장하고 처리하는 데 많은 시간이 소요되지 않았다. 하지만, 유튜브, SNS, 영상 등 여러 정보가 쏟아져 나오면서 데이터를 저장하는 데 한계가 발생했다. 처리 속도도 크게 줄어들었다. 이 때문에 정보 효율성이 낮아지면서 효율적인 정보 저장 방법의 필요성이 대두되었다.

분산처리

[wedul]

구글에서 사용하는 GFS(Google File System)는 중앙 컴퓨터에 모든 자료를 수집해서 열람 시 들어가서 확인하는 구조가 아닌 클라우드 컴퓨팅이라는 기술을 이용한다. 이때, 여러 대의 컴퓨터가 분산해서 저장하며, 여러 대의 컴퓨터가 연결되어 하나의 컴퓨터처럼 이용한다.

분산 처리 방식은 빅데이터에서 가장 중요한 기술 중 하나로 자리매김하고 있다. 이를 쉽게 설명하자면, 하나의 목표를 가지고 여러 사람이 협업해서 목표를 달성하는 형태와 유사하다고 볼 수 있다.

혼자서 처리하던 일을 분산하다 보니 당연히 처리 속도가 빨라진다.

정보 저장은 시간만 충분하다면, 특정 공간에 계속 저장하면 된다. 그러나 계속 최신화된 데이터가 올라오고 있다. 따라서 이에 따라 발맞춰 발전할 필요가 있다. 그러나 처리 속도가 느려 1년 전에 생성된 데이터만 저장된 채로 활용하게 된다면, 정보를 효율적으로 사용할 수 없다.

따라서 정보 저장 문제에서는 처리 속도에 중점을 둔다.

[저작권자ⓒ CWN(CHANGE WITH NEWS). 무단전재-재배포 금지]