'데이터(Data)'를 흔히 21세기 석유라고 말한다. 전 세계 산업을 움직이고 있는 '석유(Petroleum)'처럼 데이터가 산업에 지대한 영향을 미친다는 의미다. 데이터를 잘 다룰 수 있는 데이터 파이프라인을 구축하여 데이터에 기반한 의사결정 (Data-driven dicision making)을 할 수 있는 시스템 구축 할 수 있는지 여부가 기업의 경쟁력을 좌우하게 되었다.
이와 함께 등장한 그럴싸한 단어가 '빅데이터(Big Data)'이다. 무지막지하게 쌓이고 있는 데이터를 분석하여 좀 더 과학적이고, 통계에 기반한 의사결정을 해서 기업이 올바른 방향으로 나아갈 수 있게 도와주는 것이다. 이런 데이터 처리, 분석 기술은 필수가 되었다.
기업에서 데이터를 다루는 직종도 다양해지고 있다. 그 중에서 가장 흔하게 볼 수 있는 직종에 '데이터 분석가(Data Analyst)', '데이터 과학자(Data Scientist)', '데이터 엔지니어(Data Engineer)'가 있다. 각각 어떤 역할을 수행하는지 정리해봤다.
1) 데이터 분석가(Data Analyst) & 데이터 사이언티스트(Data Scientist)
빅 데이터라는 말이 자주 들리기 이전에도 이미 데이터를 분석하는 직종은 존재하고 있었다. 데이터 분석가(Data Analyst)는 기업이 어떤식으로든 쌓아놓은 데이터를 분석하고 시각화(Visualization) 도구를 이용해 요약한다. 이 분석 정보를 타 부서에 제공하여 의사결정을 돕는 지원(Support) 역할을 수행한다.
전통적인 분석 업무를 진행하는 이 직종은 프로그래밍 실력을 갖춘 경우도 많지만 대부분은 이미 만들어져 있는 데이터 분석 도구와 시각화 도구를 이용해서 통계 수치를 뽑아내고 차트 등의 시각화 작업을 수행한다.
데이터에서 정보를 뽑아내는 작업과 더불어 이 정보를 효과적으로 전달하고 타 부서와 커뮤니케이션 할 수 있는 스킬이 중요한 직종이다. 데이터 분석가가 상대하는 대상은 기술에 대한 다양한 이해도를 가지고 있으므로 상대에 맞춰 커뮤니케이션 할 수 있는 능력이 중요하다.
데이터 과학자(Data Scientist)라고 불리는 직종은 데이터 분석가와 마찬가지로 데이터 사이에 숨어있는 인사이트들을 찾아내는 일을 수행한다. 기존의 통계 분석 기법은 물론이고 딥러닝(Deep Learning)과 같은 알고리즘을 적극 이용하여 데이터를 가공, 분석하는 일을 수행한다.
(데이터 분석가와 데이터 과학자의 구분은 매우 모호한 것 같다.)
2) 데이터 엔지니어(Data Engineer)
데이터 과학자가 딥러닝을 비롯한 머신러닝 알고리즘으로 무장했다면 데이터 엔지니어는 하둡(Hadoop), 스파크(Spark) 등의 프레임 워크를 이용하여 방대한 데이터를 다루는 인프라를 구축하고 운영하는 역할을 담당한다. 이른바 기업의 '데이터 파이프라인(Data Pipeline)'을 구축하고 관리하는 일을 담당한다.
데이터 엔지니어는 기업에서 만들어지는 방대한 데이터를 효과적으로 수집하고, 처리, 가공하며 저장한다. 그리고 데이터 분석가나 데이터 과학자가 쉽게 이용할 수 있도록 API를 제공한다. API 너머에서 수행되는 다양한 문제들을 담당하고, 분석하는 쪽에서는 데이터 자체와 알고리즘에 집중할 수 있도록 인프라를 제공해주는 것이다.
API 너머에서 발생하는 서버 장애, 디스크 실패(Disk Failure), 네트워크 지연 등을 처리하며 화산이 폭발하고 태풍이 쓸고 지나가며 지진이 발생해서 정전이 일어나는 경우에도 서비스가 제대로 돌아갈 수 있도록 시스템을 구축한다. 이런 다양한 장애 상황을 모니터링하고 안정적으로 데이터를 공급할 수 있는 인프라 구축에 집중하는 사람들이 데이터 엔지니어다.
물론 데이터 관련 직종에 대한 분류를 상세히 하면 수 십개가 나올 것이다.
크게 분류를 해보자면 데이터 유저와 엔지니어로 나눌 수 있으며, 데이터 분석가와 데이터 과학자가 데이터의 유저에 해당하며 데이터 엔지니어는 엔지니어링 역할에 해당한다고 할 수 있다.
하지만 기업의 규모와 종류에 따라서 요구하는 업무의 분류가 천차만별일 것이라서 만약 이직이나 취업하려고 할 때 원하는 포지션의 Job Description을 잘 읽어보는게 중요하다고 할 수 있겠다.
댓글