대중을 위한 통계의 대가가 쓴 베이즈 정리에 관한 단 한 권의 책
영국 왕립통계학회 저널리즘 통계 우수상과
올해의 과학 작가상에 빛나는 톰 치버스의 신작
★★★영국 왕립학회 과학도서상 최종 후보★★★
★★★아마존 수학 분야 베스트셀러★★★
★★★김범준, 필립 볼, 팀 하포드, 윌 스토 추천★★★
“미래를 예측할 수 있을까? 물론 예측할 수 있다!”
미래의 불확실성에 맞서는 단 하나의 정리
베이즈 정리로 알아보는 예측의 과학
새해가 되면 많은 사람들이 불투명한 미래를 자기 나름대로 그려보곤 한다. 사실 우리 삶은 처음부터 끝까지 크고 작은 예측의 연속이다. 우리는 내일 아침에도 해가 뜰 것이라거나 자신이 곧 숨을 들이쉬고 내쉴 것이라는 기본적이고 암묵적인 예측을 한다. 만나기로 한 친구가 제시간에 올지, 편의점에 내가 좋아하는 오렌지 주스가 남아 있을지처럼 조금 더 복잡한 예측을 하기도 한다. 더 나아가 날씨와 기후, 수십 년 후의 경제 상황처럼 오만 가지 요인에 좌우되는 예측도 한다. 모든 예측에는 불확실하다는 공통점이 있지만, 우리가 대략이나마 세상을 예측하며 살아갈 수 있는 것은 우리에게 어떤 신비로운 예지력이 있어서가 아니라 우리가 과거에 수집한 정보 덕분이다. 이렇게 제한된 정보를 가지고 최선의 결정을 내릴 때 도움이 되는 강력한 도구가 바로 베이즈 정리다.
베이즈 정리는 18세기 영국의 아마추어 수학자 토머스 베이즈가 발견한 이론으로, 우리가 가진 정보를 바탕으로 사건의 확률을 더 정확하게 예측할 수 있는 강력한 원리다. 단순해 보이지만, 이 정리는 오늘날 스팸 필터에서 법률 시스템, 의료 진단, 뇌과학, 인공지능 등 다양한 분야에서 핵심 도구로 쓰이고 있다. 특히 데이터가 넘쳐나는 현대에 이 정리는 불확실성을 줄이고 신뢰할 수 있는 결정을 내리는 데 필수적이다. 베이즈 정리는 유용한 도구, 최선의 사고방식을 넘어 우리의 마음과 의식이 작동하는 방식 자체이기도 하다. 이 책은 일상의 친숙한 예시와 함께 베이즈 정리의 개념과 논쟁점, 철학적 의미 등을 경쾌하게 풀어내어, 독자들이 세상을 보다 합리적으로 바라볼 수 있도록 안내한다.
“기하학에 피타고라스 정리가 있다면 확률론에는 베이즈 정리가 있다”
모든 사람이 이해해야 할 역사상 가장 중요한 공식
수학 지식 없이도 이해하는 빅데이터 시대의 필수 교양
민감도, 즉 병에 걸린 사람이 병에 걸렸다고 옳게 나올 확률이 80퍼센트인 암 진단검사에서 양성 결과가 나왔다. 암에 걸렸을 확률은 얼마일까? 80퍼센트? 아니다. 그 이유가 바로 베이즈 정리에 있다. 베이즈 정리는 P(A|B)=P(B|A)×P(A)/P(B)로 표현되는데, 이 공식은 사건 B가 일어났다는 조건에서 사건 A가 일어날 확률을 계산한다. 진단검사의 경우 우리가 알고 싶은 것은 ‘검사 결과가 양성일 때 내가 암에 걸렸을 가능성’이다. 그런데 ‘민감도’가 말해주는 것은 정반대의 정보, ‘암에 걸렸을 때 검사 결과가 양성일 확률’이다. 비슷한 말처럼 들리지만 둘은 전혀 다른 의미다. 마치 ‘어떤 인간이 교황일 확률은 80억분의 1이다’와 ‘교황이 인간일 확률은 80억분의 1이다’가 전혀 다른 진술인 것과 같다. 이 차이를 제대로 이해하려면 추가적으로 유병률, 즉 베이즈 정리에서 말하는 ‘사전확률’이라는 정보가 필요하다. 그 암의 유병률이 가령 1퍼센트라면 내가 실제로 암에 걸렸을 확률은 7퍼센트에 불과할 수 있다. 이처럼 베이즈 정리는 의료 진단뿐 아니라 가설을 세우고 검증하는 과학 활동 자체, DNA 검사 결과를 토대로 용의자가 범인일 가능성을 밝히는 법의학적 활동 등 불확실한 상황에서 의사결정을 내릴 때 가장 합리적인 기준이 된다. 또한 베이즈 정리는 철학적으로도 흥미로운 질문을 제기한다. 확률이란 무엇일까? ‘동전을 던졌을 때 앞면이 나올 확률은 1/2이다‘라는 진술은 세상에 대한 객관적 사실일까? 베이즈 정리는 확률을 객관적인 세계의 고정된 속성이라기보다는, 관찰자에 따라 달라지는 주관적인 믿음으로 해석한다. 하지만 주관적이라고 해서 근거가 없다거나 무작위적이라는 말은 아니다. 오히려 베이즈 정리는 우리가 가진 정보와 데이터를 최대한 활용하여 합리적으로 결론을 내릴 수 있는 길을 제시한다.
“모든 것은 예측이고, 흥미로운 것은 예측오차다”
진단검사에서 뇌의 작동 원리까지,
베이즈 정리에 관한 단 한 권의 교양서
책은 한 줄짜리 수학 공식인 베이즈 정리가 어떻게 세상을 설명하고 우리 자신을 이해하는 강력한 도구가 될 수 있는지를 다섯 가지 주제로 풀어낸다.
1장에서는 18세기 아마추어 수학자이자 성직자였던 토머스 베이즈의 삶과 베이즈 정리의 탄생 과정을 소개한다. 통계학의 발전 과정에서 벌어진 빈도주의와 베이즈주의 간의 대립을 조명하며, 주사위와 카드놀이 같은 도박에서 시작된 확률과 통계의 역사가 우생학 같은 인종차별주의와 어떻게 얽혀 있는지도 흥미롭게 풀어낸다.
2장에서는 과학적 연구에서 확률과 통계학의 역할을 탐구하며 과학계에 파문을 일으킨 ‘재현성 위기’ 사건에 주목한다. 2011년, 미국의 사회심리학자 대릴 벰은 ‘예지력이 존재한다’는 주장을 담은 논문을 발표했다. 상식과에 반하는 내용이었으나, 올바른 방법론과 도구를 사용해 도출된 ‘과학적으로 유의한’ 결과였다. 이와 비슷하게, 이목을 집중시키는 여러 연구 결과가 반복 실험을 통해 재현되지 않는 사례들이 대거 드러나며 심리학을 중심으로 ‘재현성 위기’가 촉발되었다. 이 위기는 빈도주의 통계학이 연구 결과의 신뢰도를 어떻게 저하시킬 수 있는지 여실히 보여주었다. 저자는 베이즈주의가 어떻게 이런 문제를 해결하거나 보완할 수 있는지 보여주며 베이즈주의 방법론의 장점을 부각시킨다.
3장에서는 베이즈 정리가 의사결정 이론에서 왜 필수적인지 구체적으로 설명한다. 특히 인공지능과 게임이론에서 베이즈 정리가 의사결정의 핵심 원칙으로 작동하는 방식을 다룬다. 논리적으로 반드시 참이거나 거짓인 명제 외의 그 무엇에도 100퍼센트나 0퍼센트의 확률을 부여해서는 안 된다는 크롬웰의 법칙, 백신 음모론처럼 명백한 증거에도 요지부동인 주장 역시 합리적 추론의 산물일 수 있음을 보여주는 다중 가설 문제 등에 관한 설명을 읽노라면 베이즈 정리가 결정이론에서 얼마나 중요한 역할을 하는지 알 수 있다.
4장에서는 일상에서의 베이즈 추론을 다룬다. 인간은 온갖 오류와 편향에 휘둘려 비합리적인 판단을 내리기 쉬운 존재인 듯하지만, 실제로는 베이즈적 사고에 가까운 합리적 결정을 내린다는 점을 강조한다. ‘몬티 홀 문제’와 같은 유명한 퀴즈를 비롯해 언론인, 군 지휘관, 정치인, 학자 등 전문가들이 대거 참여한 예측 연구에서 평균적인 예측가들의 성적이 ‘다트 던지는 침팬지’보다 나을 게 없었던 반면, 뛰어난 예측력을 보여준 ‘슈퍼예측가’들의 비결도 함께 다룬다.
5장은 우리 뇌의 작동 방식, 지각과 의식 자체가 베이즈적이라는 사실을 설명한다. 기이한 ‘오목 가면’ 착시나 한동안 인터넷을 뜨겁게 달구었던 ‘드레스 착시’ 같은 착시 현상, 지각 과정, 정신질환 등 다양한 사례를 통해 뇌가 예측하고 이를 수정하는 베이즈적 과정을 탐구한다. 특히 조현병, 우울증 같은 정신질환이 예측 과정에서 생기는 오류로 설명될 수 있음을 제시하며, 인간 의식에 대한 새로운 통찰을 제공한다.
“간청하건대 여러분이 틀렸을 가능성도 생각해보십시오”
새로운 증거를 바탕으로 믿음을 갱신하는 것이 중요한 이유
스팸메일 필터링에서 진화의 과정은 물론 결정에 관련된 모든 것, 인간의 가장 고차원적인 사고 활동이라 할 과학, 뇌의 작동 방식 자체까지 베이즈 정리는 세상을 설명하는 강력하고 유용한 도구이다. 저자는 이 정리를 통해 우리가 배울 수 있는 중요한 교훈을 제시한다. 먼저, 옳다/그르다, 참/거짓이라는 이분법적 사고에 얽매일 필요가 없다고 말한다. 실제 세상에는 그런 명확한 경계가 존재하지 않는 경우가 대부분이기 때문이다. ‘정당 A는 파시스트 조직인가?’, ‘집단 B는 사이비 종교 집단인가?’, ‘인물 C는 인종차별주의자인가?’와 같은 모호하고 애매한 범주 정의를 둘러싼 논쟁들도 마찬가지이다. 이런 접근 대신 우리는 확률적 사고를 통해 믿음의 강도를 조정할 수 있다. 새로운 증거를 반영하여 우리의 지식을 갱신하는 것이 베이즈적 사고의 핵심이며, 이러한 태도가 합리적 판단으로 이어진다. 이는 우리가 불확실성과 마주하더라도 피상적인 포스트모더니즘의 상대주의에 빠지지 않고, 예측오차를 줄이며 가장 타장한 믿음을 구축하는 데 도움을 준다.
이 책은 단순히 수학의 한 분야를 다루는 책이 아니다. 믿음을 갱신할 줄 아는 태도, 확률적 사고를 통해 불확실성을 다루는 능력이 베이즈 정리에 담겨 있다. 우리가 세상을 더 합리적으로 바라보고, 정보의 홍수 속에서 현명하게 살아가는 법을 알고자 할 때 베이즈 정리는 필수적인 나침반이자 지도가 될 것이다.
추천의 글
민감도 90퍼센트인 진단키트로 양성 판정을 받았다. 감염되었을 확률은 얼마일까? 만약 90퍼센트라고 생각했다면 이 책을 꼭 읽으시길. 생물학뿐 아니라 뇌과학과 인공지능 분야에서 점점 더 큰 주목을 받고 있는 베이즈 통계학은 사실 우리가 일상적으로 수행하는 추론 방식을 닮았다. 인간은 어렴풋한 예측에서 시작해 새로운 정보를 받아들여 예측을 끊임없이 개선하고, 이를 통해 세상에 대한 점점 더 정교한 이해를 형성해나간다. 저자의 친절하고 재밌는 안내를 따라 세상에 대한 더 정교한 사전확률을 머리에 구축하자. 미래는 불확실하지만 그렇다고 완전히 불투명한 것은 아니다. 불투명해 보이는 세상을 꿰뚫어 보고 싶은 모든 이에게 이 멋진 책을 추천한다.
_김범준, 《세상물정의 물리학》 저자
18세기 성직자에서 뇌의 작용에 이르기까지, 치버스는 불확실성 속에서 학습을 위한 수학적 기초인 베이즈 정리의 영향력을 탐구한다. 확률과 통계의 역사를 깔끔하게 요약한 후 과학적 증거, 귀납, 의사결정, 통계 모델링, 예측, 인간의 지각과 추론에 대한 도전적이고 논쟁적인 베이즈주의 접근법을 다룬다. 특유의 경쾌한 문체와 인용문, 생생한 이야기로 가득하다. 배부르면서도 매우 맛있는 책.
_데이비드 스피겔할터, 《숫자에 약한 사람들을 위한 통계학 수업》 저자
페이지를 넘길 때마다 똑똑해지는 느낌을 주는 책. 증거 기반 의사 결정에 관여하는 모든 사람, 즉 우리 모두를 위한 필독서.
_필립 볼, 《아름다운 실험》 저자
인생은 불확실성으로 가득 차 있지만, 이 매혹적이고 재치 있고 관점을 전환하는 책을 보면 그렇다고 무력감과 공포에 빠질 필요는 없다는 걸 알게 된다. 수학의 매혹적인 분야뿐 아니라 세상 자체에 대해 더 잘 이해하게 되어 상쾌한 기분으로 덮을 수 있는 책이다.
_올리버 버크먼, 《4000주》 저자
놀라운 정리에 관한 놀라운 작가의 놀라운 책이다. 이 책이 세상을 보는 방식을 영원히 바꾸지 않을 통계적 확률은 0이다.
_윌 스토, 《이야기의 탄생》 저자
한 가지 완벽하게 예측 가능한 것은 톰 치버스가 훌륭한 책을 쓴다는 것이다. 이 책도 예외는 아니다. 재치 있고, 생동감 넘치고, 무엇보다도 매우 괴짜스럽다. 내가 이 책을 통해 많이 배운 것처럼, 당신도 그렇게 될 것이다.
_팀 하포드, 《경제학 콘서트》 저자
치료의 효과 평가부터 의식의 작동 방식과 의사결정 방식까지, 톰 치버스는 설득력 있는 사례들을 통해 베이즈 정리가 모든 사람이 이해해야 할 하나의 공식이라는 사실을 입증한다.
_아난요 바타차리야, 《미래에서 온 남자 폰 노이만》 저자
베이즈주의와 빈도주의의 대립에서, 이 책은 베이즈주의가 쿨할 뿐 아니라 대체로 옳은 이유를 보여준다. 이렇게 재미있는 수학책을 마지막으로 즐긴 게 언제인지 기억이 나지 않는다. 흥미진진하고 이해하기 쉽다.
_브라이언 클레그, 《그림으로 보는 모든 순간의 과학》 저자
수학책에 이런 말을 붙이는 게 이상하게 느껴질 수 있지만, 아름답고 진심이 담겨 있으며, 때로는 마음을 따뜻하게 해주는 책이다.
_피트 에첼스, 《게임의 재발견》 저자
사려 깊고 간결하며, 생각을 자극하는 책. 게다가 개념적인 내용과 실용적인 내용 사이의 균형도 완벽하다. 베이즈에 관한 책으로 더 이상 바랄 것이 없다.
_스테트슨 태커, 임상 유전학 전문가, 뉴스레터 〈홀로독사 Holodoxa〉 발행인
인생은 제한된 정보를 바탕으로 최선의 결정을 내리려고 노력하는 포커 게임과 같다. 이 책은 1763년에 고안된 공식에 관한 책으로, 우리가 어떻게 그렇게 하는지를 수학적으로 설명한다.
_〈아이리시 타임스〉
합리적 사고에 필요한 수학을 독창적으로 소개하는 책.
_〈커커스 리뷰〉