빅데이터는 미래를 예측할 수 없다

Per Bylund / 2019-08-29 / 조회: 405


cfe_해외칼럼_19-174.pdf


*본 내용은 아래 기사 및 칼럼 내용을 요약 번역한 내용임*

Per Bylund,

No, "Big Data" Can’t Predict the Future

12 July, 2015


우리는 ‘공짜의 시대’에 살고 있다고 말할 수 있다. 온라인으로 제공되는 서비스들은 대부분 무료로 제공되기 때문이다. 물론 그게 정말로 ‘공짜’인 것은 아니다. 소비자가 사용료를 직접 지급하지 않는 것이다. 오늘날의 인터넷 회사들은 소비자에게 서비스를 무료로 제공하면서 수익을 창출한다. 우선 많은 소비자를 끌어 모은 뒤 광고를 해서 돈을 버는 방법이 있고, 최근에는 소비자로부터 수집한 ‘빅데이터’를 이용해 돈을 버는 방법이 부상하고 있다.


빅데이터가 이전 시대의 데이터와 구별되는 가장 큰 특징은, 방대한 양의 자료들을 수집하고 분석하는 데 필요한 한계비용이 종종 0에 도달할 정도로 매우 낮아졌다는 것이다. 이에 따라 빅데이터가 곧 비즈니스의 미래를 선도할 것으로 많은 사람이 예상한다.


다만 여기서 문제가 하나 발생하는데, 사람들이 사회적 예측에서 대수의 법칙(law of large numbers)과 빅데이터에 지나치게 의존하게 된다는 것이다. 물론 통계는 수학적으로 평균을 형성할 수 있다. 하지만 그것이 곧 현실세계를 정확하게 반영하고 있다 할 수 있는가? 자연과학의 영역에서는 확실하게 그렇다. 통제된 환경에서 반복되는 실험을 통해, 우리는 분명 문제점을 발견하고 잘못된 설명을 제거해낼 수 있다. 적어도 우리가 실험요인들을 통제하는데 충분한 능력이 있다고 가정한다면 말이다.


그렇다면 사회과학의 영역에서는 어떤가? 하이에크는 우리 시대를 ‘과학주의의 시대’라고 명했다. 사회과학까지 자연과학의 방법론을 따르고 있기 때문이다. 우리는 빅데이터가 생산, 물류, 판매 등을 완전히 변화시키리라 전망한다. 빅데이터를 통해서 공급업체가 고객들의 요구를 더 잘 공략하고 그들이 무엇을 원하는지 ‘예측’할 수 있다고 생각하기 때문이다. 예컨대 아마존닷컴은 당신의 구매 이력과 유사한 구매 이력을 가진 다른 사람들의 검색결과를 토대로 당신에게 추천물품을 제안한다.


인간행동의 예측 불가능성


빅데이터에 기초해 광고하는 것은 매우 효과적이다. 당신이 관심을 거의 표하지 않은 것들을 광고대상에서 배제한다면, 당신이 더욱 선호하는 물품들을 광고하게 될 확률이 늘어날 것이다. 빅데이터를 통해 그들은 당신에게 물건을 팔기 위해서 어떤 것을 광고해야 하는지 보다 정확하게 식별하게 된다.


그러나 유사성은 예측과 같지 않다. 통계를 통해 발생확률이 제로에 가까운 사건들을 배제하는 것은 예측이 아니다. 예측은 “한가지 혹은 두 가지의 매우 가능성 높은 결과를 제외한 ‘모든 결과’를 정확하고 완전하게 배제하고, 그 결과가 사실로 밝혀지는 것”이다. 이 기준을 충족하지 못한다면 그저 게임이나 추측에 불과한 것이다. 물론 그것은 상당히 정밀한 추측이지만, 근본적으로 예측이라 말할 순 없다.


빅데이터는 어디서 실패하는가


마이크로소프트는 매우 진보된 알고리즘과 많은 양의 수집된 데이터에 기초해 스포츠를 비롯한 여러 사안의 결과를 예측하고자 하는 예측 엔진을 만들었다. 놀랍게도, 이 것은 매우 잘 작동했고, 피파 월드컵의 결과를 완벽하게 예측해는 데 성공했다. 이 사례는 빅데이터가 미래를 예측할 수 있다는 증거로 사용될 수 있는가?


그렇지 않다. 마이크로소프트는 오스트리아학파, 더 정확히는 인간행동학의 교훈을 학습하고 있을 뿐이다. 오스트리아학파는 인간행동에 상수가 없으며, 따라서 사회현상에 대한 예측이 불가능하다는 것을 파악한 유일한 학적입장이다. 하이에크는 예측은 언제나 제한적이며, 정확한 예측은 불가능하다고 말했다. 예를 들어, 우리는 수요-공급의 원칙과 같은 경제법칙에 의존해 특정 상황에서 가격이 상승하거나 하락할 것이라 예측할 수 있지만, 그 가격이 정확히 얼마가 될지는 결코 말할 수 없다. 스포츠나 다른 경쟁에서도 이는 정확히 적용된다. 더 좋은 기록을 가진 팀이 항상 이기는 것은 아니다.


사회과학은 다르다


사회과학의 주제는 복잡한 사회현상이다. 사회현상은 사회적 상호작용으로서 인간행동의 복합적 결과이다. 스포츠도 마찬가지이다. 양 팀 선수들의 의욕과 집중력, 사생활과 사고방식, 그리고 팀 내 기강 등의 요소가 경기결과에 영향을 미친다. 더 강한 팀이 더 약한 팀을 과소평가하며 대충 경기에 임하다 패배할 수도 있으며, 더 약한 팀이 반드시 이겨야 한다는 부담을 느끼지 않고 공격적인 전술을 펼치다 승리할 수도 있다. 마이크로소프트의 예측엔진 역시 이러한 요소와 고군분투하고 있다. 최근 이 예측엔진은 미국 미식축구 리그의 14개의 경기 중 단 4번의 결과만 맞히기도 했다.


예측엔진을 통한 추측이 단순한 직감이나 동전 던지기보단 정확하므로, 만약 당신이 내기한다면 이것을 참조하는 것은 현명하다. 하지만 빅데이터를 통한 ‘추측’이 실제로 결과를 ‘예측’해낸다고 말하긴 어렵다. 매번 결과를 맞히는 것은 행운이 필요하다. 통계가 우리를 완벽한 예측의 경지로 이끌 수는 없다.


번역: 김경훈

출처: https://mises.org/library/no-big-data-can%E2%80%99t-predict-future

       

▲ TOP

NO. 제 목 글쓴이 등록일자
541 왜 로버트 노직이 중요한가
David Gordon / 2019-10-22
David Gordon 2019-10-22
540 시장은 사람들이 매순간 더 세상에 ‘적합하게’ 만들어준다
Gary M. Galles / 2019-10-21
Gary M. Galles 2019-10-21
539 가짜 뉴스 규제, 해야 할까? 할 수 있을까?
Sam Bocetta / 2019-10-18
Sam Bocetta 2019-10-18
538 사회주의는 환경에 가장 큰 위협이다
Daniel Lacalle / 2019-10-17
Daniel Lacalle 2019-10-17
537 규제된 시장과 자유시장의 차이점
Per Bylund / 2019-10-16
Per Bylund 2019-10-16
536 자유주의와 인종차별에 대한 미제스의 견해
Matthew McCaffrey / 2019-10-15
Matthew McCaffrey 2019-10-15
535 그레타 툰베리는 가난한 나라에게 말한다. “당장 그만 하세요!”
Ryan Mcmaken / 2019-10-14
Ryan Mcmaken 2019-10-14
534 가격 통제 실패의 과거와 현재의 역사
Norm Singleton / 2019-10-11
Norm Singleton 2019-10-11
533 인간행동학에 대한 세가지 잘못된 비판
Jonathan Newman / 2019-10-10
Jonathan Newman 2019-10-10
532 자유시장의 원동력은 탐욕이 아닌 공감이다
Rainer Zitelmann / 2019-10-08
Rainer Zitelmann 2019-10-08
531 북극곰 숫자가 감소하고 있다는 신화
Jon Miltimore / 2019-10-07
Jon Miltimore 2019-10-07
530 베네수엘라의 의료보험체계에 시장은 이미 대응하고 있다
Bryon Carson / 2019-10-04
Bryon Carson 2019-10-04
529 기업의 성공을 위해 정부가 제공할 수 있는 지름길은 없다
Brooke Medina / 2019-10-02
Brooke Medina 2019-10-02
528 오스트리아학파는 경험적 증거를 거부하는가?
CJay Engel / 2019-10-01
CJay Engel 2019-10-01
527 유럽 경제 위기 속에서 브렉시트의 미래는?
Alasdair Macleod / 2019-09-30
Alasdair Macleod 2019-09-30