죄수의 딜레마란? 뜻과 실제 사례, 수학적 원리 정리

🧮 생활 속 수학

죄수의 딜레마는 두 사람이 각자 합리적으로 선택했는데 둘 다 손해를 보는 게임이론의 대표 상황이다. 보수 행렬로 우월전략과 내쉬균형을 계산하고, 가격 경쟁·군비 경쟁·팁 문화 같은 실제 사례와 반복 게임에서 협력이 살아나는 조건까지 정리했다.

죄수의 딜레마는 서로 협력하면 둘 다 이득인데, 각자 자기 이익만 계산하면 결국 둘 다 배신을 선택해 더 나쁜 결과에 갇히는 상황을 말한다. 1950년 랜드연구소의 메릴 플러드와 멜빈 드레셔가 고안하고 수학자 앨버트 터커가 '죄수' 이야기로 포장한 이 게임은, 개인의 합리성과 집단의 합리성이 어긋날 수 있음을 숫자로 보여준다. 이 글은 죄수의 딜레마의 뜻을 보수 행렬로 정확히 정의하고, 왜 배신이 우월전략이 되는지 계산한 뒤, 일상에서 마주치는 실제 사례와 이 딜레마를 빠져나오는 조건을 설명한다.

죄수의 딜레마 뜻 — 원래 이야기

공범 두 사람이 따로 격리돼 조사를 받는다. 검사는 각자에게 같은 제안을 한다. 둘 다 침묵하면 가벼운 죄로 각각 1년, 한 사람만 자백하면 자백한 쪽은 석방되고 침묵한 쪽은 10년, 둘 다 자백하면 각각 5년이다. 두 사람은 서로 연락할 수 없고, 상대가 무엇을 고를지 모른 채 결정해야 한다. 이 설정이 죄수의 딜레마의 전부다. 여기서 '침묵'은 상대와의 협력(C), '자백'은 배신(D)에 해당한다.

핵심은 형량의 순서다. 배신에 대한 유혹(석방, 0년)이 상호 협력(1년)보다 좋고, 상호 협력이 상호 배신(5년)보다 좋고, 상호 배신이 혼자 당하는 것(10년)보다 좋다. 게임이론에서는 이 네 값을 각각 $T$(유혹), $R$(보상), $P$(처벌), $S$(바보의 보수)라 부르고, $T > R > P > S$가 성립할 때만 죄수의 딜레마라고 부른다. 숫자가 이 순서를 깨면 다른 게임이 된다.

보수 행렬로 계산하면 왜 둘 다 배신할까?

형량을 '잃는 해'로 두고 표를 만들면 A의 입장에서 계산이 쉬워진다. B가 침묵할 때 A는 침묵하면 1년, 자백하면 0년이므로 자백이 낫다. B가 자백할 때 A는 침묵하면 10년, 자백하면 5년이므로 역시 자백이 낫다. 상대가 무엇을 하든 자백이 더 좋은 선택이 되는데, 이런 전략을 우월전략이라고 한다. B도 완전히 같은 계산을 하므로 두 사람 모두 자백하고, 결과는 각각 5년이다. 둘 다 침묵했으면 각각 1년이었으니 합리적 개인 두 명이 함께 4년씩 손해를 본 셈이다.

$$\begin{array}{c|cc} & \text{B 침묵} & \text{B 자백} \\ \hline \text{A 침묵} & (-1,\,-1) & (-10,\,0) \\ \text{A 자백} & (0,\,-10) & (-5,\,-5) \end{array}$$

괄호 안은 (A의 보수, B의 보수). 형량은 손실이므로 음수로 적었다.

두 사람이 모두 자백하는 칸 $(-5, -5)$는 내쉬균형이다. 내쉬균형이란 상대의 선택이 정해졌을 때 나 혼자 전략을 바꿔서는 더 나아질 수 없는 상태를 말한다. 자백-자백에서 A가 혼자 침묵으로 바꾸면 5년이 10년이 되니 바꿀 이유가 없고, B도 마찬가지다. 반면 침묵-침묵 $(-1, -1)$은 두 사람 모두에게 더 좋은 결과, 즉 파레토 우월한 결과지만 균형이 아니다. 한쪽이 자백으로 이탈하면 0년으로 이득을 보기 때문이다. 죄수의 딜레마의 수학적 정체는 '유일한 내쉬균형이 파레토 최적이 아닌 게임'이라는 한 문장으로 요약된다.

죄수의 딜레마 실제 사례 — 일상에서 만나는 구조

같은 상권의 두 가게가 벌이는 가격 경쟁이 가장 흔한 죄수의 딜레마 사례다. 둘 다 정가를 지키면 이익이 크지만, 한쪽이 할인하면 손님을 독식한다. 결국 둘 다 할인해 이익만 줄어든다. 냉전기 미국과 소련의 군비 경쟁도 같은 구조였다. 서로 무기를 줄이면 둘 다 예산을 아끼지만, 상대만 줄이면 내가 우위에 서므로 둘 다 계속 늘렸다. 공유 자원의 남획, 광고비 경쟁, 시험 기간에 모두가 밤을 새우는 '군비 경쟁식 공부'도 보수 구조를 그려보면 $T > R > P > S$가 그대로 성립한다.

개인적으로 죄수의 딜레마를 가장 실감한 건 아파트 층간소음 문제였다. 위아래 집이 모두 조심하면 서로 편한데, 상대가 조심하는 동안 나만 편하게 지내면 이득이고, 상대가 시끄럽게 굴면 나도 참을 이유가 없다. 결국 양쪽 다 신경을 덜 쓰는 상태로 미끄러지는 것을 보며 보수 행렬을 머릿속으로 그렸던 기억이 있다. 사람들이 이기적이라서가 아니라 구조가 그렇게 밀어붙인다는 점이 이 게임의 불편한 교훈이다.

반복하면 달라진다 — 죄수의 딜레마 해결 방안

한 번만 하는 죄수의 딜레마에서는 배신이 유일한 합리적 선택이지만, 같은 상대와 게임을 반복하면 계산이 바뀐다. 오늘 배신하면 내일 상대가 보복하므로 배신의 장기 비용이 생기기 때문이다. 정치학자 로버트 액설로드가 1980년 전후에 연 컴퓨터 토너먼트에서 우승한 전략은 아나톨 라포포트가 낸 '팃포탯(Tit for Tat)'이었다. 첫 판은 협력하고, 이후에는 상대가 직전에 한 대로 따라 하는 단순한 규칙이다. 먼저 배신하지 않고, 배신당하면 즉시 갚고, 상대가 돌아오면 바로 용서하는 이 전략이 복잡한 전략들을 이겼다.

수학적으로는 미래 보수를 얼마나 중시하느냐를 나타내는 할인인자 $\delta$가 열쇠다. 상대가 영원히 보복한다고 할 때, 협력을 유지하는 조건은 $R/(1-\delta) \ge T + \delta P/(1-\delta)$이고, 이를 정리하면 $\delta \ge (T-R)/(T-P)$가 된다. 위의 형량 예시를 보수로 바꾸면 $T=0, R=-1, P=-5$이므로 $\delta \ge 1/5$, 즉 다음 판이 20% 이상의 가치만 있어도 협력이 유지된다. 반대로 게임이 언제 끝나는지 정확히 알면 마지막 판부터 역산해 협력이 무너진다는 것도 같은 식에서 나온다. 단골 가게에는 친절하고 여행지 식당에서는 팁이 인색해지는 이유가 여기에 있다.

죄수의 딜레마를 읽을 때 조심할 것

첫째, 모든 갈등이 죄수의 딜레마는 아니다. 상대가 협력할 때 나도 협력하는 것이 더 좋다면 $R > T$가 되어 '사슴 사냥 게임'이 되고, 이때는 협력도 내쉬균형이 된다. 보수의 순서를 확인하지 않고 죄수의 딜레마라고 부르면 엉뚱한 처방이 나온다. 둘째, 실험실에서 실제 사람들은 이론이 예측하는 것보다 훨씬 자주 협력한다. 일회성 게임에서도 40~50%가 협력을 택한다는 결과가 반복돼 왔는데, 이는 사람들이 평판·공정성·죄책감 같은 요소를 보수에 함께 넣기 때문으로 해석된다. 셋째, 죄수의 딜레마는 '이기적으로 굴어라'가 아니라 '구조를 바꿔라'는 결론으로 읽어야 한다. 반복, 평판, 소통 채널, 계약과 제재는 모두 보수 행렬의 숫자를 바꿔 $T > R$을 $R > T$로 뒤집는 장치다.

함께 읽으면 좋은 글

도박사의 오류란? 뜻과 사례, 큰수의 법칙과 다른 점 기댓값 뜻과 계산 공식, 생활 속 확률 판단법 유클리드 호제법 원리와 증명, 최소공배수까지 정리

참고 자료

Stanford Encyclopedia of Philosophy — Prisoner's Dilemma Axelrod & Hamilton, The Evolution of Cooperation, Science (1981) Flood, Some Experimental Games, RAND RM-789-1 (1952)