빅데이터는 미래를 예측할 수 없다

Per Bylund / 2019-08-29 / 조회: 2,052


cfe_해외칼럼_19-174.pdf


*본 내용은 아래 기사 및 칼럼 내용을 요약 번역한 내용임*

Per Bylund,

No, "Big Data" Can’t Predict the Future

12 July, 2015


우리는 ‘공짜의 시대’에 살고 있다고 말할 수 있다. 온라인으로 제공되는 서비스들은 대부분 무료로 제공되기 때문이다. 물론 그게 정말로 ‘공짜’인 것은 아니다. 소비자가 사용료를 직접 지급하지 않는 것이다. 오늘날의 인터넷 회사들은 소비자에게 서비스를 무료로 제공하면서 수익을 창출한다. 우선 많은 소비자를 끌어 모은 뒤 광고를 해서 돈을 버는 방법이 있고, 최근에는 소비자로부터 수집한 ‘빅데이터’를 이용해 돈을 버는 방법이 부상하고 있다.


빅데이터가 이전 시대의 데이터와 구별되는 가장 큰 특징은, 방대한 양의 자료들을 수집하고 분석하는 데 필요한 한계비용이 종종 0에 도달할 정도로 매우 낮아졌다는 것이다. 이에 따라 빅데이터가 곧 비즈니스의 미래를 선도할 것으로 많은 사람이 예상한다.


다만 여기서 문제가 하나 발생하는데, 사람들이 사회적 예측에서 대수의 법칙(law of large numbers)과 빅데이터에 지나치게 의존하게 된다는 것이다. 물론 통계는 수학적으로 평균을 형성할 수 있다. 하지만 그것이 곧 현실세계를 정확하게 반영하고 있다 할 수 있는가? 자연과학의 영역에서는 확실하게 그렇다. 통제된 환경에서 반복되는 실험을 통해, 우리는 분명 문제점을 발견하고 잘못된 설명을 제거해낼 수 있다. 적어도 우리가 실험요인들을 통제하는데 충분한 능력이 있다고 가정한다면 말이다.


그렇다면 사회과학의 영역에서는 어떤가? 하이에크는 우리 시대를 ‘과학주의의 시대’라고 명했다. 사회과학까지 자연과학의 방법론을 따르고 있기 때문이다. 우리는 빅데이터가 생산, 물류, 판매 등을 완전히 변화시키리라 전망한다. 빅데이터를 통해서 공급업체가 고객들의 요구를 더 잘 공략하고 그들이 무엇을 원하는지 ‘예측’할 수 있다고 생각하기 때문이다. 예컨대 아마존닷컴은 당신의 구매 이력과 유사한 구매 이력을 가진 다른 사람들의 검색결과를 토대로 당신에게 추천물품을 제안한다.


인간행동의 예측 불가능성


빅데이터에 기초해 광고하는 것은 매우 효과적이다. 당신이 관심을 거의 표하지 않은 것들을 광고대상에서 배제한다면, 당신이 더욱 선호하는 물품들을 광고하게 될 확률이 늘어날 것이다. 빅데이터를 통해 그들은 당신에게 물건을 팔기 위해서 어떤 것을 광고해야 하는지 보다 정확하게 식별하게 된다.


그러나 유사성은 예측과 같지 않다. 통계를 통해 발생확률이 제로에 가까운 사건들을 배제하는 것은 예측이 아니다. 예측은 “한가지 혹은 두 가지의 매우 가능성 높은 결과를 제외한 ‘모든 결과’를 정확하고 완전하게 배제하고, 그 결과가 사실로 밝혀지는 것”이다. 이 기준을 충족하지 못한다면 그저 게임이나 추측에 불과한 것이다. 물론 그것은 상당히 정밀한 추측이지만, 근본적으로 예측이라 말할 순 없다.


빅데이터는 어디서 실패하는가


마이크로소프트는 매우 진보된 알고리즘과 많은 양의 수집된 데이터에 기초해 스포츠를 비롯한 여러 사안의 결과를 예측하고자 하는 예측 엔진을 만들었다. 놀랍게도, 이 것은 매우 잘 작동했고, 피파 월드컵의 결과를 완벽하게 예측해는 데 성공했다. 이 사례는 빅데이터가 미래를 예측할 수 있다는 증거로 사용될 수 있는가?


그렇지 않다. 마이크로소프트는 오스트리아학파, 더 정확히는 인간행동학의 교훈을 학습하고 있을 뿐이다. 오스트리아학파는 인간행동에 상수가 없으며, 따라서 사회현상에 대한 예측이 불가능하다는 것을 파악한 유일한 학적입장이다. 하이에크는 예측은 언제나 제한적이며, 정확한 예측은 불가능하다고 말했다. 예를 들어, 우리는 수요-공급의 원칙과 같은 경제법칙에 의존해 특정 상황에서 가격이 상승하거나 하락할 것이라 예측할 수 있지만, 그 가격이 정확히 얼마가 될지는 결코 말할 수 없다. 스포츠나 다른 경쟁에서도 이는 정확히 적용된다. 더 좋은 기록을 가진 팀이 항상 이기는 것은 아니다.


사회과학은 다르다


사회과학의 주제는 복잡한 사회현상이다. 사회현상은 사회적 상호작용으로서 인간행동의 복합적 결과이다. 스포츠도 마찬가지이다. 양 팀 선수들의 의욕과 집중력, 사생활과 사고방식, 그리고 팀 내 기강 등의 요소가 경기결과에 영향을 미친다. 더 강한 팀이 더 약한 팀을 과소평가하며 대충 경기에 임하다 패배할 수도 있으며, 더 약한 팀이 반드시 이겨야 한다는 부담을 느끼지 않고 공격적인 전술을 펼치다 승리할 수도 있다. 마이크로소프트의 예측엔진 역시 이러한 요소와 고군분투하고 있다. 최근 이 예측엔진은 미국 미식축구 리그의 14개의 경기 중 단 4번의 결과만 맞히기도 했다.


예측엔진을 통한 추측이 단순한 직감이나 동전 던지기보단 정확하므로, 만약 당신이 내기한다면 이것을 참조하는 것은 현명하다. 하지만 빅데이터를 통한 ‘추측’이 실제로 결과를 ‘예측’해낸다고 말하긴 어렵다. 매번 결과를 맞히는 것은 행운이 필요하다. 통계가 우리를 완벽한 예측의 경지로 이끌 수는 없다.


번역: 김경훈

출처: https://mises.org/library/no-big-data-can%E2%80%99t-predict-future

       

▲ TOP

NO. 제 목 글쓴이 등록일자
668 적자예산은 정말 중요하지 않은가?
Murray N. Rothbard / 2020-05-22
Murray N. Rothbard 2020-05-22
667 훌륭한 기업가가 추구해야할 것은 무엇인가?
Raushan Gross / 2020-05-15
Raushan Gross 2020-05-15
666 코로나 바이러스와 재고품의 기적
Richard N. Lorenc / 2020-05-11
Richard N. Lorenc 2020-05-11
665 베트남 전쟁의 진정한 패착
Murray N. Rothbard / 2020-05-08
Murray N. Rothbard 2020-05-08
664 셧다운을 중단하라
The Editors of mises institute / 2020-05-04
The Editors of mises institute 2020-05-04
663 미국의 빈곤 퇴치 정책을 벗어나기 어려운 이유
Justin Murray / 2020-05-01
Justin Murray 2020-05-01
662 위기 상황일 때, 가장 혁신적인 기업가들은 가장 큰 수익을 낸다
Peter G. Klein / 2020-04-27
Peter G. Klein 2020-04-27
661 자유주의의 두 가지 전통
Brian Doherty / 2020-04-24
Brian Doherty 2020-04-24
660 코로나 바이러스의 공포: 일본에게 다가오는 글로벌 경기 침체
David L. Veksler / 2020-04-22
David L. Veksler 2020-04-22
659 홍콩 시위를 이유로 자본주의를 비난하지 마라
Rob York / 2020-04-20
Rob York 2020-04-20
658 정부는 우리가 가장 필요로 할 때 시장가격과의 전쟁을 선포한다
Tom Mullen / 2020-04-17
Tom Mullen 2020-04-17
657 자유주의 정의론은 자연법을 필요로 한다
Chris Calton / 2020-04-13
Chris Calton 2020-04-13
656 반()자본주의자: 역사를 제대로 이해하고 있는가?
Doug McCullough, Brooke Medina / 2020-04-10
Doug McCullough, Brooke Medina 2020-04-10
655 작은 나라가 큰 나라보다 더 부유하고 안전하다
Ryan McMaken / 2020-04-06
Ryan McMaken 2020-04-06
654 `자유시장` 경제학은 이념의 산물이 아니다
Per Bylund / 2020-04-03
Per Bylund 2020-04-03