어플리케이션을 장악하는 빅데이터의 취업 분야

안녕하세요. 오늘은 IT의 많은 유망 분야 중 하나인 빅데이터에 대한 내용을 들고 왔습니다.   제가 수강 중인 캡스톤 디자인이라는 과목에서 교수님이 데이터베이스를 담당하고 계셔서 저희 반에 데이터베이스관리자(DBA)로 취업하려는 친구들이 많은데요, 얼마 전 한 친구의 제안으로 DB 공모전에 나가게 되었어요. 이를 계기로 데이터베이스에 대한 기사와 자료들을 조사하다가 DB와는 다른 매력을 지닌 빅데이터에 대한 기사를 보았습니다. 평소에 빅데이터? 하면 그냥 데이터가 큰 녀석인가.. 라고만 생각하고 있다가 매력적인 직업이 될 수 있다는 것을 이제야 알게 되었네요 ㅎㅎ   빅데이터 우리가 다양한 디지털 기기를 사용하면서 생겨나는 데이터입니다. 그렇다면 일반적으로 알고있는 데이터랑은 무엇이 다를까요? 일반적인 데이터와 달리 빅데이터는 규모가 방대하고 생성되는 주기가 짧은 수치, 문자, 영상 등의 데이터 형태를 가진 대규모 데이터입니다. 기술적인 측면에서의 빅데이터는 기존에 사용하던 데이터베이스 관리도구로 여러 데이터를 수집하여 관리하는 역량을 넘어서 이 수집한 데이터를 통해 새로운 가치를 추출하고 결과를 분석하는 기술입니다. 현 시대에서 빅데이로 분류되는 행동정보와 위치정보등을 수집해서 분석 전문가들이 이를 분석하고 가공하면서 사람들의 여러가지 행동 패턴을 예측합니다. 이러한 예측 정보를 통해 우리들의 생각과 의견까지 분석하고 예측 할 수 있는데, 우리의 취향에 맞는 영화나 음악을 추천해주는 서비스들이 이를 활용한 기술이죠.   이렇게 빅데이터는 오래 전부터 우리의 곁에 머물러 여러 편의를 제공해주었습니다. 예를 들어 자신이 인터넷 쇼핑을 할 때 쇼핑몰에서는 내가 쇼핑몰에 얼마동안 머물렀는가, 주로 조회한 카테로는 무엇인가 등등의 정보를 수집합니다. 쇼핑몰에는 나 뿐만이 아닌 여러 고객들이 있을거고 그만큼 동시에 접속한 사람들이 위에서 제시한 행동을 하기 때문에 방대하고 생성주기가 짧은 빅데이터들이 생성됩니다. 그러면 이 쇼핑몰에서는 이 데이터를 분석해서 가치를 창출합니다. 고객이 회원가입 시 제공한 정보, 접속한 위치 정보 등을 토대로 추후에 이와 비슷한 유형의 사람들에게 상품을 추천하는 등의 서비스를 제공할 수 있는거죠.   아직 빅데이터가 무엇인지에 대한 감이 안잡히신 분들을 위해 예를 더 들어 보겠습니다. 전세계 사람들이 이용하고 있는 동영상 스트리밍 서비스를 제공하는 유튜브를 살펴보겠습니다. 마찬가지로 유튜브에는 우리가 가입할 때 제공한 정보가 있을거에요. 가입을 한 뒤에는 뉴스피드에 있는 동영상을 시청하거나 검색을 통해 자신이 보고자 하는 카테고리의 동영상을 시청하겠죠. 그러면 유튜브에서는 사용자들의 이러한 패턴들을 빅데이터로 수집합니다. 이도 마찬가지로 방대하면서 생성 주기가 짧은 데이터가 되겠죠. 수집가공분석이 완료되면 유튜브에서는 사용자들에게 사용자가 좋아할 만한 동영상이나 채널정보를 제공할 수 있게됩니다. 이러한 빅데이터는 인터넷 서비스 분야만이 아니라 마케팅 분야, 의료 분야, 공공 업무 등 각종 분야에서 활동하고 있습니다.   개념과 활용 분야를 살펴보았으니 여러분들이 가장 궁금할만한 빅데이터의 취업 분야를 알아보겠습니다. 우선 크게 세 가지의 직무가 있습니다. 빅데이터 분석가 앞에서 데이터베이스 관리도구로 데이터를 수집한다고 했었죠? 이렇게 수집된 데이터를 분석하여 부가가치를 창출하는 직무입니다. 규모가 방대한 빅데이터를 관리하고 분석하여 유튜브나 쇼핑몰의 예시에서처럼 행동패턴과 같은 서비스를 제공할 수 있도록 방향을 제시하기도 합니다. 빅데이터 분석가는 유형이나 트렌드에 민감하여 수시로 변하는 시장동향에 바로바로 대처할 수 있는 능력이 요구됩니다. 빅데이터 개발자 분석가가 사용할 하둡 클러스터를 구축하고 관리하는 직무입니다. 하둡이란 데이터를 분산으로 처리하는 시스템으로 방대한 규모로 흩어진 빅데이터를 분산처리하기 위한 시스템입니다. 실제로 수집된 빅데이터를 보면 너무나 방대해서 어떻게 정리하고 부가가치를 창출해야 할지 막막하다고 합니다. 때문에 하둡이라는 시스템이 주목받고 있습니다. 하둡 클러스터란 수많은 서버를 마치 하나의 서버처럼 구현할 수 있는 기술 입니다. 이를 위해서는 운영체제, C언어, 자바, 네트워크와 같은 다양한 기초지식이 필요합니다. 데이터 사이언티스트 데이터의 목적에 따른 정보를 분석하여 서비스나 제품의 품질을 개선하는 직무입니다. 빅데이터를 통해 의미 있는 가치(정보)를 창출하고 이를 활용해서 국가나 기업들의 서비스, 제품개선에 효율적인 방안을 제시하는 직업입니다. 분석가와 비슷한 업무이지만 좀 더 커뮤니케이션에 특화된 직무입니다.   취업분야에 대한 조사를 마지막으로 빅데이터의 세계 탐험을 마치겠습니다. 당장 네이버 뉴스의 IT카테고리에서 빅데이터를 검색하면 많은 기술이 요구되지만 그만큼 취업 전망이 밝은 직업이라는 것을 알 수 있습니다. 기업에게 도움을 줄 뿐만 아니라 국내, 국제적으로도 많은 영향을 줄 수 있는 분야입니다. 때문에 국내에서도 빅데이터 전문인력양성을 추진하고 있습니다. IT의 세계는 정말 분야의 다양성이 끝이 없다고 생각되네요. 그만큼 자신이 좋아하는 분야를 발견하고 전문인력이 되기 위해 노력한다면 다양한 기회를 잡을 수 있다고 생각합니다.