몬티홀 문제 풀이, 문을 바꾸면 확률이 2배인 이유

🧮 생활 속 수학

몬티홀 문제는 세 문 중 하나를 고른 뒤 사회자가 염소 문을 열어 줄 때 선택을 바꾸면 이길 확률이 1/3에서 2/3로 오르는 확률 퍼즐이다. 경우의 수와 조건부 확률로 푸는 몬티홀 문제 풀이와 직관이 틀리는 이유를 정리했다.

결론부터 말하면 몬티홀 문제에서는 문을 바꾸는 쪽이 유리하다. 처음 고른 문이 정답일 확률은 끝까지 1/3이고, 남은 문이 정답일 확률은 2/3다. 많은 사람이 "문이 두 개 남았으니 반반"이라고 느끼지만, 사회자가 정답을 알고 일부러 염소 문만 연다는 조건이 확률을 한쪽으로 몰아준다. 아래에서 경우의 수, 조건부 확률, 기댓값 세 가지 방법으로 이 결론을 확인한다.

몬티홀 문제란? 게임쇼에서 나온 확률 퍼즐

이름은 미국 TV 게임쇼 진행자 몬티 홀에서 왔다. 규칙은 이렇다. 문 세 개 뒤에 자동차 한 대와 염소 두 마리가 있다. 참가자가 문 하나를 고르면, 어디에 자동차가 있는지 아는 사회자가 나머지 두 문 중 염소가 있는 문 하나를 열어 보여 준다. 그리고 묻는다. "처음 고른 문을 유지하겠습니까, 남은 문으로 바꾸겠습니까?"

이 문제는 1975년 통계학자 스티브 셀빈이 학술지에 처음 정식화했지만, 유명해진 것은 1990년 잡지 칼럼니스트 메릴린 보스 사반트가 "바꾸는 게 유리하다"고 답하면서였다. 그녀에게 틀렸다는 편지가 1만 통 가까이 쏟아졌고, 그중 상당수가 박사 학위를 가진 사람들이었다. 수학자 폴 에르되시도 처음에는 납득하지 못하다가 컴퓨터 시뮬레이션 결과를 보고 나서야 받아들였다는 일화가 전해진다. 몬티홀 문제가 확률 직관의 함정으로 자주 인용되는 이유다.

몬티홀 문제 풀이, 경우의 수로 따져 보기

가장 확실한 몬티홀 문제 풀이는 모든 경우를 적어 보는 것이다. 참가자가 1번 문을 골랐다고 하자. 자동차의 위치는 세 가지이고 각각 확률이 1/3이다.

자동차가 1번 문 뒤에 있으면 사회자는 2번이나 3번 중 아무거나 연다. 이때 유지하면 이기고 바꾸면 진다. 자동차가 2번 문 뒤에 있으면 사회자는 3번을 열 수밖에 없고, 바꾸면 2번으로 가서 이긴다. 자동차가 3번 문 뒤에 있으면 사회자는 2번을 열고, 바꾸면 3번으로 가서 이긴다. 세 경우 중 유지해서 이기는 경우는 하나, 바꿔서 이기는 경우는 둘이다.

핵심은 "바꾸는 전략"이 사실상 "처음에 염소를 골랐을 때 이기는 전략"이라는 점이다. 처음에 염소를 고를 확률은 2/3이고, 그 경우 사회자가 나머지 염소를 치워 주므로 바꾸면 반드시 자동차에 도착한다. 그래서 바꾸는 전략의 승률은 처음 선택이 틀릴 확률인 2/3와 같다.

조건부 확률과 베이즈 정리로 보는 몬티홀 문제

식으로 쓰면 더 분명하다. 자동차가 k번 문 뒤에 있는 사건을 \(C_k\), 사회자가 3번 문을 여는 사건을 \(H_3\)이라고 하자. 참가자는 1번을 골랐다. 사회자가 3번을 열 확률은 자동차 위치별로 \(P(H_3 \mid C_1)=\frac{1}{2}\), \(P(H_3 \mid C_2)=1\), \(P(H_3 \mid C_3)=0\)이다. 전확률 공식으로 합치면 다음과 같다.

$$P(H_3)=\frac{1}{2}\cdot\frac{1}{3}+1\cdot\frac{1}{3}+0\cdot\frac{1}{3}=\frac{1}{2}$$

사회자가 3번 문을 열 전체 확률

이제 베이즈 정리로 "3번이 열렸다는 정보를 본 뒤" 자동차가 2번에 있을 확률을 구한다.

$$P(C_2 \mid H_3)=\frac{P(H_3 \mid C_2)\,P(C_2)}{P(H_3)}=\frac{1\cdot\frac{1}{3}}{\frac{1}{2}}=\frac{2}{3}$$

바꿨을 때 이길 확률

같은 방식으로 계산하면 \(P(C_1 \mid H_3)=\frac{1}{3}\)이다. 사회자의 행동은 1번 문에 대해서는 아무 정보도 주지 않는다. 1번에 자동차가 있든 없든 사회자는 어차피 염소 문을 열 수 있기 때문이다. 반면 2번 문에 대해서는 "사회자가 열지 않고 남겨 뒀다"는 정보가 쌓여 확률이 1/3에서 2/3로 올라간다.

왜 반반이라고 느낄까? 사회자의 정보가 만드는 차이

직관이 틀리는 이유는 "남은 문 두 개"만 보고 사회자가 어떤 규칙으로 문을 열었는지를 잊기 때문이다. 문을 100개로 늘리면 감이 온다. 참가자가 1번을 고르자 사회자가 정답을 피해 나머지 98개를 모두 열고 37번 하나만 남겼다고 하자. 1번이 맞을 확률은 여전히 1/100이고, 37번은 99개 문의 확률을 혼자 떠안아 99/100이 된다.

반대로 사회자가 정답을 모르고 무작위로 문을 열었는데 우연히 염소가 나온 경우라면 이야기가 달라진다. 이 변형에서는 사회자의 행동이 아무 선택 정보도 담지 않으므로 유지와 교체의 확률이 정말로 1/2씩이 된다. 같은 장면이라도 정보가 어떤 과정으로 만들어졌는지에 따라 확률이 달라진다는 것, 이것이 몬티홀 문제의 진짜 교훈이다.

인터넷에서 몬티홀 문제 반박으로 자주 보이는 주장도 대부분 이 지점에서 갈린다. "사회자가 문을 연 뒤에는 새 게임이 시작되니 반반"이라는 말은 사회자가 정답을 모른다는 가정을 몰래 끼워 넣은 것이다. 또 "사회자가 정답일 때만 교체를 권했다면"처럼 규칙을 바꾸면 답도 바뀐다. 몬티홀 문제의 오류 논쟁은 계산 실수라기보다 문제 조건을 어떻게 읽었는지의 차이인 경우가 많다. 그래서 원래 조건, 즉 사회자는 정답을 알고 반드시 염소 문을 열며 항상 교체 기회를 준다는 세 가지를 먼저 확인하는 것이 정확한 몬티홀 문제 풀이의 출발점이다.

나도 이 결론이 한 번에 받아들여지지 않아 파이썬으로 10만 번을 직접 돌려 봤다. 문을 유지한 쪽은 약 33.3퍼센트, 바꾼 쪽은 약 66.7퍼센트를 이겼다. 사회자가 무작위로 여는 변형을 같은 방식으로 돌리자, 염소가 나온 판만 추렸을 때 교체 승률이 약 50.3퍼센트로 떨어졌다. 식으로 이해한 뒤에도 숫자가 눈앞에 찍히는 걸 보니 비로소 납득이 됐다.

몬티홀 문제를 생활 속 선택에 적용하면

기댓값으로 보면 차이는 더 커진다. 같은 게임을 300번 한다면 유지 전략은 평균 100번, 교체 전략은 평균 200번 자동차를 탄다. 한 판에서는 운이 결과를 가르지만, 반복되는 결정에서는 확률이 높은 쪽을 고르는 습관이 결과를 두 배로 벌린다. 그런데도 실험에서 사람들은 처음 선택을 고집하는 경향이 강하다. 바꿨다가 지면 더 후회할 것 같다는 심리, 이른바 현상 유지 편향 때문이다.

몬티홀 문제가 생활에 주는 교훈은 새 정보가 들어오면 확률을 다시 계산하라는 것이다. 다만 그 정보가 누구에 의해, 어떤 규칙으로 걸러져 나왔는지를 함께 봐야 한다. 광고가 보여 주는 후기, 뉴스가 고른 사례처럼 선택된 정보는 몬티 홀이 연 문처럼 확률을 한쪽으로 기울인다. 몬티홀 문제 풀이는 결국 "정보의 출처까지 조건에 넣어라"라는 조건부 확률의 원칙으로 모인다.

함께 읽으면 좋은 글

베이즈 정리란? 공식과 뜻, 검사 결과를 읽는 법 생일 문제란? 23명이면 50%를 넘는 확률 계산과 원리 기댓값 뜻과 계산 공식, 생활 속 확률 판단법 조건부 확률이란? 공식과 예제, 베이즈 정리까지 정리

참고 자료

Wikipedia — Monty Hall problem 위키백과 — 몬티 홀 문제 나무위키 — 몬티 홀 문제