요즘 심심찮게 접하는 용어 중 하나가 '빅데이터'이다. 빅데이터가 따로 설명이 필요 없을것 같으나, 빅데이터란 용어가 등장하게 된 배경과 핫 키워드로 등극한 진위가 궁금하여, 뽑아는 책이 <빅데이터가 만드는 세상>이다.
이 책이 담고 있는 큰 맥락과 진단의 충격은 앨빈 토플러의 <제3의 물결>과 <미래쇼크>를 읽고난 후와 거의 맞먹었다. 현재는 물론 빅데이터가 어떻게 우리가 살고 있는 세상을 바꾸게 될지.. 그리고 비즈니스 현장에서 더욱 부상하게 될 빅데이터의 가치에 대해서 제대로 이해할 수 있는 책이라고 할 수 있다.
커뮤니케이션에 종사하는 1인으로서 빅데이터는 그리 낯선 개념은 아니다. '팩트'와 '여론'이 중요한 PR에서 '리서치 PR'은 고차원적인 커뮤니케이션 기법 중 하나라고 할 수 있다. PR의 이러한 원리와 빅데이터와 일맥상통하는 부분이 있다.
저자 빅토르 마이어 쇤버거, 케네스 쿠키어 가 말하는 빅데이터란 "큰 규모를 활용해 더 작은 규모에서는 불가능했던 새로운 통찰이나 새로운 형태의 가치를 추출해내는 일 "로 한마디로 정의하고 있다.
" 데이터로 하여금 말하게 하라 "는 첫장의 소제목은 의미심장하다 .
컴퓨터가 주류 사회로 편입된지 반세기가 지나는 동안 데이터는 계속해서 축적됐고, 마침내 이제 뭔가 새롭고 특별한 일이 벌어지고 있다. '빅데이터' 용어는 2000년대 정보폭발을 가장 먼저 경험한 천문학과 게놈 연구 분야에서 생겨난 말이다.
빅데이터 시대는 우리가 사는 방식와 세상과 소통하는 방식에 도전한다. 예를 들어 빅데이터는 항공권을 구매할 때 가장 싸게 구매할 수 있는 시점을 분석해서 소비자에게 이를 알려줄 수 있다. 이런 방식의 서비스로 수익을 올리는 기업이 있다. ClearForest라는 회사는 항공권은 물론, 콘서트 티겟, 중고차 판매에 빅데이터를 활용한 서비스를 선보였으며, 일찌감치 마이크로소프트가 이 회사를 인수했다 . (2008년도에 1억 1천만달러에 매각되었다! 와우)
빅데이터는 금융, 의료, 교육, 범죄수사, 공공분야에 이르기 까지 파급력이 막대하다.
미국 주식시장에서 매일 약 70억의 주가가 거래 되는데 이중 3분의 2가 컴퓨터 알고리즘에 의한 것이며, 구글이 하루에 24 페타바이트 petabyte의 데이터를 처리하고 있다. 페이스북은 매시간 1000만 개의 사진이 얼로드 되고, 8억명이 구글의 유튜브를 이용하고 2012년 기준 일간 트위트 건수는 4억 건이 넘어서고 있다.
여기에서 오해하기 쉬운 개념은 '데이터화'와 '디지털화'이다. 이 둘은 서로 아주 다른 개념이다. '디지털화'란 아날로그 정보를 컴퓨터가 처리할 수 있도록 2진법 코드의 0과 1로 만든다는 뜻이다. '데이터화'는 기록되거나 분석되거나 재정리할 수 있는 어떤 것을 가리키며 이러한 변환작업을 일컫는 말이다.
빅데이터의 용어에서 알아차릴 수 있듯이 디지털화가 곧 빅데이터를 가져오는 것은 아니다.
어떤 현상을 데이터화한다는 것은 표로 만들고 분석이 가능하도록 그 현상을 수량화된 형태로 만든다는 뜻이다.
현대적인 IT시스템이 빅 데이터를 가능하게 한 것은 분명하지만 핵심적인 측면에서 보면 빅 데이터로의 이행은 인류의 오래된 탐구과정의 연속선상에 있다. 세상을 측정하고 기록하고 분석하려는 탐구 정신에서 비롯되었다고 저자는 말하고 있다.
이 책을 읽고 나면 가장 강렬하게 남는 단어는 '인과성' causality 과 '상관성'correlation 이다.
빅데이터 이전 시대는 '인과성' 즉 원인과 결과가 중요한 시대였으나, 빅데이터 시대에서는 '상관성' 의 시대이다. 상관성에는 확신은 없으나 개연성이 있을 뿐이다. 예를 들어 구글에서 특정한 지리적 위치에 있는 사람들이 구글을 통해 '감기'라는 더 많이 검색할 수록 그 지역의 더 많은 사람들이 독감에 걸렸다는 사실이 입증되고 있다. 상관성은 특히 미래 예측에 도움이 된다. 여성의 임신 여부도 예측할 수 있다. 특정 여성의 3개월 전후의 구매내역을 보면 , 마그네슘, 칼슘, 아연과 같은 보충제를 구매하는 경향이 높다는 사실로 예측이 가능하다는 것이다.
‘이유’보다 ‘결론’이 중요한 것이 빅데이터의 시대에는 데이터를 분석하여 특정 패턴이나 상관성을 찾아낼 때 새로운 이해와 귀중한 통찰을 얻을 수 있다는 것이다. 과거의 빅데이터를 가지고 현재의 문제점을 진단할 수 있고, 미래까지도 예측할 수 있다. 빅데이터 시대에는 인간의 본연적인 욕구인 왜? 인과적 연관을 찾고 싶은 직관적 욕구를 제어해야한다. 오히려 과거에 원인이 존재하지 않을때에도 억지로 원인을 가정해서 잘못된 편견이 가져온 경우를 밝히고 있다.
책에 등장하는 영화 두 편 <머니볼>과 <마이너리포트>는 빅데이터를 상징적으로 설명할 수 있다.
<머니볼>에서 야구 스타우터들은 통계학자에게 그 자리를 내어주고, <마이너리포트>에서 주인공은 저지르지도 않은 범죄에 대해서 미리 처벌을 받게 된다. (정말 황당하다)
빅데이터의 '빅'은 절대적인 개념이 아니라 상대적인 개념으로 전체 정보를 말한다. 무어의 법칙( 마이크로칩 하나당 트렌지스터의 수가 대략 2년 마다 두 배가 된다)의 살고 있는 우리다. 정보의 질보다 양이다. 데이터가 희박할 때는 모든 데이터가 중요했지만. 정보가 넘쳐나는 정보손실은 어느 정도 불가피하다.
빅데이터가 유의미하게 쓰인다면 기후 변화 대처, 질병 근절, 범죄 예방, 경제발전, 바람직한 정부구조를 만들 수 있다. 작은 데이터를 분석하는 스몰데이터 시대에는 정밀함이 중요했지만. 빅데이터를는 들쭉날쭉한 특성을 받아들인다. 빅데이터 에서는 과거의 통계학자들의 무작위 샘플 추출에 오히려 문제를 제기한다.
좋은 예는 일본의 산업기술대학원의 시게오미 코시미즈 교수의 연구 사례이다. 사람들의 엉덩이를 평가하여 데이터를 전문적으로 다루면 어떤 일이 발생할까? 신체 윤곽, 자세, 무게 분삭을 모두 수치화해서 도표를 만들게 되면 각 개인을 식별할 수 있는 디지털 코드가 완성된다. 이 기술을 장착한 차량에 승인된 운전자가 아니라 다른 사람이 안젝되면 주행허가가 떨어지지 않고 엔진을 꺼지게 할 수 있다. 대단하다 ^^
지금까지 IT혁명의 그 강조점은 'T' 즉 기술에 있었다. 이제는 관심을 "I' 정보에 옮겨가야할 때이다.
빅데이터 시대에는 정보를 다루는 '알고리즈미스트'가 부상하게 될 것이며, 직업적 전망은 물론 이들이 거대 권력과 정보로 부터 개인의 정보를 지켜내야하는 중요한 임무를 맡게 될 것이다.
개인의 위치와 소통이 데이터가 될때 이는 막대한 가치를 창출할 수 있다. 광고의 영역은 물론 경제의 흐름까지도 예측할 수 있기 때문이다.
빅데이터는 미래를 예측한다는 측면에서 사고의 패러다임과 경제 구조까지도 많이 바뀌게 할 수 있다.
데이터의 재사용 문제라든가 데이터 수집 범위가 무한대로 늘어나게 되고, 데이터 잔해(data exhaust)의 가치가 새삼 중요해지고 있다. 빅데이터의 어두운 면은 가장 극단적인 상상이겠지만 어떤 사람을 평가할때 과거의 히스토리 , 데이터 즉 업적, 실적으로 평가하는 것이 아니라 일어나지 않을 앞으로의 일을 예측해서 그 사람을 평가하고 감시할 수 있다는 것이다.
어쨋든 빅데이터는 우리가 사는 방식, 일하는 방식, 생각하는 방식을 바꿔놓을 만반의 준비를 하고 있다. 지식은 한때 그 의미가 과거를 이해한다는 뜻이었지만.. 앞으로는 미래를 예측할 수 있다는 뜻이 될 것이다.
-> 목차보기
'자료실 > 서평' 카테고리의 다른 글
| [책 서평] 세상에 파고든 유혹의 기술, 브랜드 (0) | 2013.11.12 |
|---|---|
| [책 리뷰] Made in 브랜드 (0) | 2013.11.04 |
| 나만의 컬렉션을 위한 첫 걸음, 그림 쇼핑 (0) | 2012.11.05 |
| [책 리뷰] 혼 창 통 (0) | 2012.06.22 |
| [책 리뷰] 유쾌한 420자 인문학 페이스북 ! (0) | 2012.05.29 |
댓글