해외 기업, 데이터 엔지니어 선호 기술·툴 조사 보고서 발행

해외 기업, 데이터 엔지니어 선호 기술·툴 조사 보고서 발행: 최정인 / 기사승인 : 2022-07-06 22:29:20

해외 온라인 테크 매체 테크크런치가 데이터 엔지니어링 기업 다텔(Dattell)이 6월 29일 데이터 엔지니어 인력 시장 동향 보고서의 발표 소식을 보도했다.

다텔은 이번 보고서를 위해 다량의 데이터 분석 과정을 거치며, 노동 시장에서 데이터 엔지니어에게 요구하는 기술과 취업 기회 현황을 조사했다.

34만 개의 데이터 엔지니어 채용 공고를 분석한 결과, 채용 공고 35%는 데이터 오케스트레이션(data orchestration), 30%는 데이터 스토리지(data storage), 29%는 데이터 시각화, 6%는 데이터 처리 직무로 확인됐다.

데이터 엔지니어가 사용하는 프로그래밍 언어를 조사한 결과, 파이썬을 가장 많이 활용하는 것으로 나타났다. 파이썬을 사용하는 엔지니어의 비율은 38%, 자바는 33%, SQL은 22%로 확인됐다. 이 세 가지 언어를 이용하는 일자리의 수는 55만 개에 달하였다.

데이터 엔지니어의 연봉은 신입 초봉 6만 달러부터 경력자 18달러까지 다양하게 분포한다. 가장 높은 연봉은 쿠버네티스(Kubernetes), 엘라스틱서치(Elasticsearch), 포스트그레스큐엘(PostgreSQL), 테라폼(Terraform)을 다루는 엔지니어로 연봉이 $140,000 이상이었다. 태블로(Tableau)나 파워비아이(Power BI) 엔지니어를 위한 채용 공고도 있었지만 대부분 $100,000 이하의 연봉을 제시하고 있었다.

다텔은 연구를 통하여 데이터 엔지니어링 분야에서 가장 인기 있는 기술 20가지를 선정하였다. 여기에는 마이크로소프트 파워 비아이(Microsoft Power BI), 테라폼(Terraform), 셰프(Chef), 스파크(Spark), 엘라스틱서치(Elasticsearch), 하둡(Haddop)과 카프카(Kafka) 등이 포함된다. 모두 데이터 스토리지, 데이터 오케스트레이션, 데이터 처리 및 시각화를 지원하며, 데이터 엔지니어링 분야 전체를 지배하는 하나의 분야가 있기보다는 골고루 중요한 것으로 나타났다.

가장 인기 있는 데이터 엔지니어링 툴은 몽고DB(MongoDB), 태블로(Tableau), 쿠버네티스(Kubernetes), PostgreSQL, Ansible 등으로 데이터 스토리지, 오케스트레이션, 시각화를 위한 툴이다.

위의 툴 중에서 태블로와 쿠버네티스의 인력 수요가 가장 큰 것으로 나타났다. 이외에 인력 수요가 높은 툴로는 Ansible, 하둡, 테라폼, 스플렁크(Splunk), 파워 비아이, 몽고DB, PostgreSQL 등이 있다.

데이터 오케스트레이션 툴 중에서는 쿠버네티스가 압도적으로 인기 있었으며 Ansible이 그 뒤를 이었다. 쿠버네티스는 컨테니어 관리와 유지를, Ansible은 구성 변경 처리나 업데이트 관리를 지원한다.

마지막으로 다텔은 오픈소스 툴의 발전으로 유료 툴보다 무료 오픈소스 툴 사용량이 점점 증가하는 것으로 나타났다. 그 결과 기업에서 아파치 스파크나 아파치 카프카와 같은 오픈소스 툴을 이용할 수 있는 엔지니어에 대한 수요가 상승하고 있다.

데이터 스토리지 기술의 경우 기업의 59%는 유료 툴을 선호하였지만 39%는 무료 툴을 선호하였다. 가장 인기 있는 스토리지 기술은 무료 툴인 몽고DB와 PostgreSQL 순으로 인기가 높은 것으로 나타났다.