오늘, 생각하기- 미래 잡(job)자
빅데이터 혁명을 이끄는 선구자,
‘빅데이터 전문가’
인터넷이나 SNS 공간뿐만 아니라 다양한 곳에서도 데이터가 넘쳐난다. 교통 상황, 금융 결제, 기후나 날씨에 관한 자료, 질병 발생에 관한 자료, 주식 거래 내역, 각종 연구보고서나 논문 등 데이터의 형식도 다양하다. 여러 곳에 쌓여 있는 데이터를 최근에는 ‘21세기의 원유’라고 부르고 있다. 이러한 데이터를 모으고 분석하는 일을 하는 사람이 ‘빅데이터 전문가’다.
- 글. 한상근(한국직업능력개발원 사회학 박사)
데이터 광산의 광부!
아마존, 넷플릭스, 스타벅스 등 세계적으로 성공을 거둔 기업의 공통점은 무엇일까? 무엇보다도 빅데이터 분석을 기초로 사업을 수행하고 있다는 점이다. 데이터 분석으로 연령별·성별·경제 수준별로 어떤 상품을 좋아하는지 확인하거나 어떤 배우, 어떤 영화가 성공할 수 있는지를 예측할 수 있다. 어느 곳에 상점을 내야 손님이 많이 찾아오는지도 데이터 분석으로 알 수 있다.
영어에는 빅데이터 전문가를 지칭하는 다양한 용어가 있는데, ‘데이터 마이너(data miner)’라는 용어가 사용되기도 한다. 이는 디지털 광산에서 데이터를 채굴하는 광부라는 의미다. 상품 거래 내역이나 혹은 버스·지하철 승차 내역, 음식점 이용 내역 등은 데이터로서의 가치를 주목받지 못했다. 하지만 빅데이터 분석 기법이 널리 알려지면서 이러한 데이터는 그 자체로 디지털 광산으로 주목받고 있다. 디지털 광산에서 귀중한 정보를 찾아내는 사람이 바로 디지털 마이너(디지털 광부)다.
빅데이터는 글자 그대로 데이터양이 대규모일 뿐만 아니라, 다양한 형태의 자료다. 과거의 분석 방법으로는 수치나 동일한 형식의 데이터만을 분석할 수 있었다. 그러나 빅데이터 분석 기법이 개발되면서 수치뿐만 아니라, 텍스트, 오디오, 비디오 등 다양한 형식의 데이터를 분석할 수 있게 됐다.
빅데이터는 21세기의 원유(oil)라고 불리기도 한다. 기계가 움직이기 위해서는 원유가 필요하듯이 인공지능을 개발하려면 빅데이터가 필수적이다. 4차 산업혁명 시대에는 제조업, 금융업, 서비스업 등 다양한 분야에서 빅데이터가 활용되고 있다.
데이터 엔지니어와 분석가로 나뉘는 빅데이터 전문가
데이터 광부이기도 한 빅데이터 전문가는 데이터를 수집하고 분석해서 사람의 행동이나 경제 상황 등을 예측하거나 트렌드를 찾아낸다. 또한 분석하려는 빅데이터를 수집하고 데이터를 처리하며 분석 결과를 시각화하여 일반인도 쉽게 이해할 수 있도록 그림으로 나타낸다. 새로운 기술의 출현이나 트렌드, 사람의 행동을 예측하고 전망하기도 한다.
빅데이터 전문가는 크게 ‘데이터 엔지니어’와 ‘데이터 분석가’로 나눌 수 있다. 데이터 엔지니어는 인터넷 사이트나 앱, SNS 등에서 데이터를 수집하고, 데이터 분석가가 활용할 수 있도록 가공한다. 그리고 데이터의 흐름을 관리하고, 데이터 분석가가 활용할 수 있도록 데이터를 제공한다.
데이터를 처리하는 시스템을 최적화하는 일이 데이터 엔지니어의 일이다. 데이터 분석가는 데이터를 분석하고, 보고하는 일을 한다. 데이터 속에서 비즈니스에 의미 있는 결과를 끌어내며, 분석 도구를 이용해서 보고서를 작성한다.
빅데이터 전문가가 되려면?
빅데이터 전문가는 기본적으로 데이터를 수집해서 수학적 방식으로 분석한다. 이를 위해서는 수학적 지식, 통계학적 분석 방법에 대한 이해가 있어야 한다. 데이터 엔지니어가 되려면 수학, 통계학적 지식 이외에 컴퓨터 과학을 전공하면 유리하다. 데이터 분석가는 수학, 통계학적 지식과 더불어 비즈니스를 분석할 수 있는 능력을 갖추어야 한다. 경영학이나 경제학에 대한 이해가 있으면 유리하다.
빅데이터 전문가에게 필요한 역량은 복합적이고 융합적이다. 대학이나 대학원에서 컴퓨터 과학, 통계학, 수학, 경영학, 경제학 등을 전공하면 빅데이터 전문가가 되는 데 도움이 된다. 어떤 전공을 하더라도 빅데이터 분석 기법에 대한 전문적인 학습을 별도로 해야 빅데이터 전문가가 될 수 있다.
인공지능과 빅데이터의 만남
인공지능 시대에 빅데이터의 가치는 더욱 부각될 것이다. 인공지능이 학습을 하려면 먼저 데이터가 필요하므로 빅데이터의 지원이 긴요하다. 또 인공지능이 작업을 빠르게 처리하는 데에도 빅데이터의 지원이 필요하다.
빅데이터 분석은 금융업, 제조업, 정부 및 공공, 전문서비스 분야 등 다양한 분야에서 활용되고 있다. 빅데이터 전문가는 향후 5년간 일자리가 크게 증가할 것으로 예상되는 대표적인 직업이다. 인공지능 시대에 빅데이터 전문가의 역할은 더욱 강조되고 있으며 직업으로서의 발전 가능성이 높다. 