고민해결사 산업공학이야기

제 7편 데이터마이닝

현대 인간은 데이터 속에서 살고 있다. 다양한 매체를 통하여 시시각각 새로운 데이터가 홍수처럼 넘쳐나고 있으며, 우리도 데이터의 생성에 직간접적으로 참여하고 있다. 편의점에서 간식을 살 때, SNS을 사용하여 친구들과 문자나 사진을 주고받을 때, 지하철이나 버스를 타고 통학하면서 교통카드를 태그할 때와 같이 일상의 많은 활동 중에서 데이터를 사용하거나 생성하고 있는 것이다.

빅데이터(big data)는 문자 그대로 많은 양의 데이터이다. 과거의 전통적인 형태의 데이터(예: 사람이 의도적으로 컴퓨터에 입력하는 형태)와는 달리, 생성량은 엄청나게 많고 생성 주기는 짧으며 형태는 수치뿐만 아니라 문자, 음성, 영상도 포함하기 때문에 기존의 방법으로는 수집, 저장, 분석이 불가능하다. 따라서 빅데이터의 특징은 3V, 즉, Volume(크기), Variety(다양성), Velocity(속도)로 표현할 수 있다.

빅데이터와 더불어 데이터마이닝(data mining)에 대한 관심 또한 증가하고 있다. 마이닝은 본래 광산에서 원하는 광석을 채굴한다는 뜻을 가지고 있는데, 데이터마이닝은 빅데이터로부터 의미있는 규칙을 추출하는 과정을 의미하며, 기존의 통계학적인 데이터분석 기법에 데이터베이스와 인공지능 등의 기술이 융합되어 있다. 전통적으로 통계학을 기반으로 하는 데이터분석에서는 가설을 수립하고 데이터를 수집하여 그 가설을 검증하는데 반하여, 데이터마이닝은 데이터로부터 가설을 발견하고 검증하는 차별점이 있다. 다시 말하면, 빅데이터로부터 지식을 추론하고 보다 객관적인 결론을 도출하여 미래를 예측하고 이에 대한 조치를 선제적으로 취하는 접근방식이다.

최근 데이터마이닝은 마케팅, 물류, 금융, 의료, 제조 등 다양한 분야에서 활용되고 있다. 여기에서는 대한산업공학회에서 발간하는 IE매거진에 게재된 데이터마이닝 응용사례들을 소개한다.

세계적인 배송업체인 UPS에서는 트럭에 부착되어 있는 센서들로부터 차량의 방향, 속도, 제동 등의 정보를 수집한다. 이 데이터는 중앙 서버로 전송되어 배송 기사들이 이용하는 경로를 설정하는데 쓰인다. UPS는 축적된 배송관련 데이터, 주소 데이터, 지도 데이터를 기반으로 배송 기사들의 배달 및 집하 업무를 실시간으로 조절하여 배송 시간과 차량의 연료를 줄이고 있다.

패션 시장에서는 제품의 기획과 생산이 계절 단위로 이루어지는 것이 일반적이다. 그러나 고객수요가 급격히 변하는 요즘에는 한 계절 이후에 유행할 상품을 예측한다는 것은 사실상 불가능하다. 그래서 자라(Zara)는 수개월 후에 유행할 상품을 예측하는 대신 현재 인기리에 판매되는 상품의 트렌드를 추적하여 패스트푸드처럼 빠르게 생산, 공급하는 전략을 세웠다. 시장에서 인기 있는 제품에 대한 실시간 분석을 바탕으로 다양한 제품을 매장에 출시하고 있으며, 유통망의 효율을 높이는 노력을 더해 제품을 기획하고 시장에 내놓는 시간을 2주 단위로 단축시켰다. 이와 같은 방식에 힘입어 자라는 70개 국가에 2,000여 개의 매장을 거느린 세계 2위의 패스트 패션 기업으로 성장했다.

시장 포화로 성장의 한계에 직면한 국내외 신용카드사들은 빅데이터를 마케팅에 이용하고 있다. 비자(VISA)의 경우 구입품목, 시점, 결제위치 등을 실시간으로 파악하고 고객의 구매이력과 성향을 감안하여 인근 가맹점의 할인쿠폰을 발송해 주는 서비스를 제공하여 카드이용 건수가 증가하는 결과를 얻었다. 아멕스(AM-EX)에서는 위치 기반 소셜 네트워크 정보를 활용해 고객별 맞춤형 마케팅을 실시해 고객들로부터 긍정적인 반응을 얻고 있다. 예를 들어, 페이스북이나 트위터에서 특정 상품 및 레스토랑에 “좋아요”를 클릭하면 할인쿠폰 및 관련 정보를 제공해준다. 신한카드에서는 고객의 카드 사용실적을 분석하여 소비 패턴 및 선호 트랜드를 파악하여 남녀 각각 9개의 고객군으로 그룹핑한 후, 각 그룹별 최적화된 카드 시리즈를 출시했다.

은행 및 보험사에서는 위험 및 보안 관리시스템에 빅데이터를 활용하고 있다. 미국의 보험회사인 프로그레시브(Progressive)사는 자동차에 부착된 센서가 전송하는 데이터를 바탕으로 고객의 운전 패턴을 분석하고 미래 사고가능성을 예측하여 자동차 보험료를 산정하는 시스템을 운영하고 있다. 즉, 상대적으로 덜 위험한 방법으로, 덜 위험한 시간대 및 지역에서 운전하는 고객일수록 적은 보험료를 낸다.

이러한 일을 하는 최신의 직종을 데이터과학자(data scientist)라고 한다. 2016년 미국 노동통계청(Bureau of Labor Statistics)은 미국내 데이터과학자의 평균 연봉이 약 11만 8,000달러(약 1억4,300만원)라고 발표했다. 그리고 미국의 직장평가 기업인 글래스도어(Glassdoor)에 따르면 지난해 신임 데이터과학자의 평균 연봉(기본급)은 9만5천 달러(약 1억1천500만 원)로 8만5천 달러를 기록한 월스트리트 투자 금융 분석가보다 높은 수치다.

데이터 과학자가 되려면 통계학과 같은 정량적 분석 기술, 데이마이닝 소프트웨어를 만들고 사용하는데 필요한 데이터구조, 알고리즘, 프로그래밍과 관련한 기술, 마케팅과 영업 관련 지식과 더불어 커뮤니케이션 및 팀웍 능력이 필요하다. 여러분도 데이터 과학자에 도전해보지 않겠는가?

박희성 (산업공간전공 교수) 　

트윗하기