2013년에는 빅데이터 붐이 일어나서 이를 처리하기 위한 기술들에 대해 붐이 일었습니다. 이 때문에 전부터 있던 하둡이 주목을 받았고, 이와 연관된 보안기술들도 핫 이슈가 되고는 했습니다.

지금 와서 제가 느끼기에 이 기술들 외에도 데이터 전문가(Data Expert)가 가져야 할 배경지식은 무궁무진한 것 같습니다. 전에 근무했던 삼성전자에서도 법무팀과 긴밀한 협조하에 분산처리기술, 보안기술 외에도 개인정보 관련하여 많은 노력을 해 왔습니다.

제가 지금 근무하고 있는 회사는 로비(Rovi Coporation)라는 나스닥에 상장된 미국계 회사입니다. 저는 Data Solutions Group 소속으로 메타데이터(Metadata), 빅데이터(Big-Data), 추천검색(Search & Recommendation) 등 데이터 솔루션을 개발합니다. 여기서는 분산처리, 보안기술, 개인정보 외에 지역 법률 및 비즈니스 룰에 대해 많은 신경을 씁니다. 왜냐하면 Data는 보는 시각에 따라 이해관계자가 달라질 수 있기 때문입니다.


어떤 나라에서는 특정 분야의 데이터는 특정 집단의 합의를 받아야만 사용이 가능한 경우가 있습니다. 이런 나라일수록 산업 발전이 퇴보하고 있거나 선진국이 아닐 가능성이 농후합니다. 그렇지만 이런 집단을 무시하여 발생하는 부작용은 생각보다 큽니다. 메타데이터, 빅데이터… 이 두 분야는 이해관계자가 존재하는 분야입니다. 이 때문에 패키징에도 룰이 필요한데. 이 룰로 인하여 정형화된 인터페이스를 설계하는데 제약이 발생하게 됩니다.

데이터 전문가(Data Expert)는 앞으로 좀더 성장할 가능성이 있는 분야로 판단됩니다. 이 분야도 기존 SW 개발과 마찬가지로 기획, 개발, 품질(QA), 운영의 4개 분야로 세분화되어져 있으며, 이 분야들이 서로 엮여 애자일(Agile) 형식으로 일을 추진합니다. 이 전 조직이 SW 중심으로 흘러갔다면, Data Industry는 좀더 많은 분야의 전문가들이 모여 일을 하게 됩니다. 


학교에서 아이들을 가르친다는 관점에서는 본다면 아마도 SW는 전공 필수과목이 되어야 할 것 같고 나머지 배경지식이 전공 필수과목으로 추가되어야 하지 않을까 싶습니다. 그래서 Data 관련 분야가 세분화되어지는 것이 맞을 것 같습니다. 

앞으로의 데이터 솔루션 분야… 3년 뒤, 5년 뒤가 기대됩니다.

데이터 웨어하우스란 의사결정에 도움을 주기 위하여 구조화된 형태의 데이터 포멧으로 변환하는 데이터베이스를 의미합니다. 웨어하우스(warehouse)는 단순히 창고를 의미하지만, 데이터 웨어하우스(Data Warehouse)는 데이터 뿐만 아니라 분석 방법까지도 포함합니다.

간단히 정리하자면 데이터 웨어하우스의 기능은 다음과 같습니다.

1. Data Flow 분석

2. 패턴 도출

3. 모델링 (Static한 Data Model 생성)

4. 구조화된 데이터를 반복 생성

5. 리포팅

데이터 웨어하우스(Data Warehouse)의 특징 - 분석, 패턴도출, 모델링, 데이터 생성, 리포팅

데이터 웨어하우스(Data Warehouse)는 주로 의사결정을 위한 도구로 많이 사용됩니다. 최근에는 데이터 웨어하우스(Data Warehouse)를 기반으로 하여 다양한 분석을 통해 추천(recommendation)하는 방향으로까지 발전하고 있습니다. 여기에 다차원분석이 가능한 OLAP까지 동원된다면 보다 과학적인 추천이 가능 해 질 것입니다.

+ Recent posts