CWN(CHANGE WITH NEWS) - 데이터 엔지니어·데이터 과학자, 효과적인 협업 방법은?

데이터 과학은 이제 필수인 시대가 됐다. 빅데이터, 머신러닝, 인공지능과 함께 데이터 과학은 세계의 중요한 변화를 주도하고 데이터 엔지니어와 데이터 과학자를 위한 광범위한 직업 기회를 창출하고 있다.

데이터 과학, 빅데이터와 머신러닝이 계속되고 수많은 데이터 작업이 진화하면서 데이터 엔지니어와 데이터 과학자의 협업은 기업이 성공하기 위한 필수 조건이 되고 있다. 데이터 엔지니어와 데이터 과학자가 효과적으로 협업할 수 있는 방법은 무엇일까? 인공지능 빅데이터 전문매체 애널리틱스인사이트가 효과적인 협업 방법을 정리했다.

데이터 과학자를 위한 지침
데이터 엔지니어링을 요청을 하는 동안 4W에 응답하자. △누가 이 데이터로부터 이익을 얻나? 마케팅은 웹사이트 방문자가 어디에서 방문하는지 알고 싶어 한다. △어떤 데이터가 필요한가? 모든 마케팅 소유 페이지에 대한 웹사이트 방문 △이 데이터가 필요한 이유는 무엇인가? 웹사이트 방문자의 소스를 인식하면 마케터가 활동을 최적화해 전환률이 높은 채널의 우선순위를 지정해 더 많은 판매를 유도할 수 있다. △이 데이터는 언제 필요한가? 데이터 엔지니어링 백로그를 얻으려면 늦지 말고 미리 요청해라. 데이터를 가져오는 데이터 엔지니어링을 설명하기 위해 마케팅 제공 날짜에 추가 시간을 할당해야한다.

데이터 엔지니어를 위한 지침
데이터 과학팀의 요청과 검토에 필요한 세부 정보를 나열하는 도움말 페이지를 만들어야 한다. 또는 데이터 엔지니어링 요청 양식에서 이 정보를 요청할 수 있다. 이렇게 하면 두 팀 모두 질문을 왔다 갔다 하지 않고도 세부 정보를 미리 확인할 수 있는 시간을 절약할 수 있다.

데이터 과학자는 사용 가능한 모든 데이터로 업데이트되지 않을 수 있다. 위치와 설명이 포함된 데이터 카탈로그를 만드는 것은 데이터 과학자가 이미 존재할 수 있는 데이터를 요청하기 전에 분석할 수 있다.

데이터 사양 제공
데이터 엔지니어는 분석에 가장 적합한 것이 무엇인지 알 수 없기 때문에 명확한 사양이 포함된 요청을 해야 한다. 데이터 과학자로서 데이터와 필드에 대한 명확성은 필수이며 데이터에 대해 null 값, 날짜 범위 처리와 같은 모든 데이터 처리 논리가 필요하다.

데이터 과학자의 역할
요청할 때 전체 세부정보를 제공해야 한다. 이것은 요청이 곧 완료될 수 있음을 의미하는 앞뒤로 묻는 질문을 줄일 수 있다. 데이터 엔지니어링이 기록을 가져오는 데 시간을 투자하기 전에 값을 검토하고 모든 필수 필드가 가까이 있는지 확인하기 위해 며칠 분량의 데이터가 포함된 샘플 데이터를 요청해야 한다. 특히 수년간의 데이터를 다시 채워야 하는 경우에 그렇다. 중복 레코드를 피하기 위해 데이터를 업데이트하는 방법을 구체적으로 지정해야 한다.

데이터 엔지니어의 역할
필요한 모든 정보를 확인하기 위해 요청 세부 사항에 대해 검토하기 위해 새 데이터를 가져오는 것과 같은 표준 요청 항목 체크리스트를 만들어야 한다. 이렇게 하면 요청에 도달할 때 지연을 피할 수 있고 시작하기 전에 추가 정보가 필요하다는 것을 알 수 있다.

QA 사양 제공
데이터 엔지니어는 최대 수백 개의 데이터 파이프라인을 지원할 수 있으며 업무의 주요 부분은 이러한 ETL 작업이 오류 없이 실행되는지 확인하고 그렇지 않은 작업은 문제를 해결하는 것이다. 검토를 위해 데이터가 사용자에게 전달되기 전에 실행할 QA 검사를 제공해 요청 처리 시간을 줄일 수 있다.

데이터 엔지니어가 ETL이 원하는 대로 실행되고 있는지 확인하기 위해 실행할 수 있는 예상 값 또는 SQL 문에 대한 지원을 제공한다. 자세한 내용이 제공될수록 답변해야 하는 질문이 줄어든다.

로드된 데이터를 빠르게 살펴보고 이상하게 보이는 항목이 없는지 확인한다. 예를 들어 모든 열이 null이면 조사가 필요한 문제다. 데이터가 예상대로 로드되었는지 확인하기 위해 표준검사를 실행할 수 있는지 데이터 과학자에게 문의해야 한다.

[저작권자ⓒ CWN(CHANGE WITH NEWS). 무단전재-재배포 금지]