[휴넷MBA와 함께하는 경영 뉴 트렌드] 10개월치 트윗 빅 데이터로 주가 예측… 87% 적중

우리는 알게 모르게 데이터의 홍수 속에서 살고 있다. 출근길 지하철역의 CCTV는 바삐 움직이는 시민들의 모습을 영상 데이터로 기록하고, 거래처와의 휴대전화 통화는 기지국 위치와 상대편 전화번호를 로그 데이터로 남긴다. 은행에서의 계좌이체는 거래 로그로 쌓이고, 신용카드를 긁을 때마다 쌓이는 결제 정보는 카드사 하드디스크 어딘가에 저장되고 있다. 퇴근길 버스의 위치 정보와 이동 경로는 중앙 서버에 모여 정류장의 안내단말기에 뿌려지고, 자동차의 엔진에 부착된 센서의 데이터는 실시간으로 제조사 데이터베이스에 차곡차곡 쌓인다.

우리 주위의 만물이 디지털화되면서 하루하루 생산되는 데이터는 지금까지 생성된 데이터의 총량을 가뿐히 넘겨버리고 있다. 데이터의 양뿐 아니라 형태 또한 예전보다 훨씬 다양해지고 순환 속도도 빨라졌다. 당연히 이런 데이터를 통해 추출할 수 있는 정보의 양도 과거와는 비교할 수 없을 만큼 많아졌다. 그러다 보니 지금의 데이터는 기존의 데이터 처리 방식으로는 감당할 수 없는 지경에 이르렀다. 이렇게 완전히 새로워진 정보 환경을 일컬어 '빅 데이터(big data)'라고 부른다.

◇트위터로 주가 예측을?

빅 데이터가 출현하기 전에도 기업들은 CRM(고객관리), DW(데이터 저장소), BI(비즈니스 인텔리전스) 등의 이름으로 데이터 관리와 분석을 수행하고 있었다.

그렇다면 빅 데이터는 이들에 비해 가치 측면에서 어떤 차별점을 가지는가?

무엇보다 데이터의 창조적 활용을 가능케 해 주는 것이 빅 데이터의 진정한 가치라고 할 수 있다. 기존 데이터 활용이 주로 과거의 현상을 파악하고 이해관계를 규명하는 후향적(後向的) 분석에 집중되었다면, 빅 데이터의 창조적 활용은 데이터 더미에서 숨겨진 패턴을 추출하고 이를 기반으로 미래를 예측, 궁극적으로는 비즈니스 혁신을 주도하는 것을 의미한다.

빅 데이터의 창조적 활용사례를 몇 가지 살펴보자. 구글에서 검색 키워드는 핵심적인 데이터 자산이라 할 수 있다. 이를 분석하여 검색 사용자의 성향을 파악하고, 검색광고를 최적화하는 데 활용한다.

하지만 다른 활용 가능성은 없는 것인가? 구글은 발상의 전환을 통해 독감과 같은 질병의 확산을 예측하는 데 활용할 수 있지 않을까 하는 아이디어를 떠올리게 된다. 독감 증세를 보이는 환자가 늘어나면 자연스레 독감 관련 검색이 늘어날 것이라는 가정이다. 실제 데이터 분석을 통해 독감 관련 검색 키워드 빈도 추이와 실제 독감 환자 추이 사이에 강한 상관관계가 있음을 확인했고, 이를 통해 미국 질병통제예방센터의 예보보다 1~2주 빨리 독감을 예측할 수 있음을 입증했다.

구글은 이런 독감 예측 기능을 '구글 독감 트렌드'라는 이름의 서비스로 상설화해 전 세계 독감 확산현황을 누구든 쉽게 찾아볼 수 있게 했다. 검색 키워드라는 빅 데이터 자산을 창조적으로 활용하여 비즈니스 혁신을 이끌어낸 대표적인 사례라고 할 수 있다.

우리 주변에 가장 대표적인 빅 데이터로서 트위터 데이터가 있다. 최근 트위터 데이터는 소비자 불만사항 예측, 여론 조사, 선거 결과 예측, 마케팅 성능 평가, 영화 수익 예측 등 다양한 방면에서 창조적으로 활용되고 있다. 그중에서도 가장 흥미로운 사례로 트위터 데이터를 활용한 주가 지수 예측이 있다.

가정 자체는 단순하다. 트위터에서 특정 회사에 대해 부정적으로 거론되는 빈도가 늘어나면 얼마 후 주가도 떨어질 것이라는 가정이다. 이러한 가정하에 인디애나대학과 맨체스터대학의 연구진은 10개월치 1000만개의 트윗을 분석해 트위터상의 분위기와 다우지수 변화 추이 사이의 상관관계를 분석했다. 그 결과 87.6% 정확도로 2~6일 후의 주가지수의 방향을 예측해냈다. 이 연구결과를 기반으로 영국의 DCM 캐피털이라는 투자회사는 트위터 데이터 분석에 의해 투자 방향을 결정하는 헤지펀드를 설립하기도 했다.

◇급변하는 환경 속에 빅 데이터 활용가치 높아져

비단 검색이나 트위터 같은 인터넷 서비스만의 이야기가 아니다. 앞서가는 기업들은 그들이 보유한 데이터가 무엇인지 파악하여 창조적으로 활용하는 방안을 모색하고 있다.

볼보는 차량에 부착된 수백 개 센서의 데이터를 중앙 클라우드에 수집하여 패턴을 분석함으로써 특정 부품의 결함을 조기에 파악하고 고객에게 결함이 노출되기 전에 리콜을 실시함으로써 막대한 비용을 절감할 수 있었다.

그렇다면 요즘 왜 빅 데이터가 중요한 이슈로 떠오른 것일까?

첫째, 구글, 아마존, 넷플릭스(온라인 동영상 서비스업체) 같은 글로벌 인터넷 서비스 기업의 성공에 빅 데이터가 핵심 경쟁력이었음을 파악하고 다른 기업들도 비슷한 성공 스토리를 밟아나가기 시작했다.

둘째, 최근 경기침체와 회복의 주기가 짧아져 상시 급변하는 경제 환경 속에서 빅 데이터 분석을 통해 미래를 신속히 예측하고, 새로운 기회를 찾는 것이 생존을 위해 필수불가결 요소임을 인식하기 시작했다.

아울러 모바일 혁명으로 데이터가 폭발적으로 증가하는 추세에 맞물려 빅 데이터를 저장하고 처리할 수 있는 다양한 기술이 개발되면서 바야흐로 빅 데이터는 기업 경영의 최신 화두로 떠올랐다.

☞빅 데이터(big data)

기존의 데이터베이스 시스템으로는 수집·저장·관리·분석하기 힘들 만큼 방대한 양의 데이터 집합을 의미한다. 빅 데이터라는 용어 속에는 데이터를 과거와 다른 혁신적 방식으로 가공·분석해 유용한 정보를 추출한다는 의미도 담고 있다.