내쉬 균형이란? 뜻과 예제, 죄수의 딜레마로 찾는 법

🧮 생활 속 수학

내쉬 균형은 모든 참가자가 상대의 선택을 보고도 자기 전략을 바꿀 이유가 없는 상태다. 내쉬 균형 뜻과 찾는 법을 죄수의 딜레마·편의점 가격 경쟁·페널티킥 예제로 계산하고, 우월전략·파레토 최적과의 차이와 실생활 활용까지 정리했다.

내쉬 균형은 게임에 참여한 모든 사람이 "상대가 저렇게 하는 한 나는 지금 선택을 바꿔봐야 손해"라고 느끼는 상태다. 누구도 혼자서는 이탈할 동기가 없으니 그 자리에 멈춘다. 1950년 존 내쉬가 27쪽짜리 박사 논문에서 정리했고, 이 개념으로 1994년 노벨 경제학상을 받았다. 가격 경쟁, 협상, 교통 체증, 스포츠의 심리전까지 사람들이 서로 눈치를 보며 결정하는 상황이면 어디든 내쉬 균형이 숨어 있다.

내쉬 균형 뜻 — "바꿔도 이득이 없다"는 조건

게임 이론에서 게임이란 여러 사람이 각자 전략을 고르고, 그 조합에 따라 각자의 이득이 정해지는 상황을 말한다. 내쉬 균형은 그 전략 조합 가운데 특별한 것으로, 다른 사람들이 지금 전략을 그대로 유지한다고 가정할 때 어느 한 사람도 자기 전략을 바꿔서 이득을 늘릴 수 없는 조합이다. 핵심은 "혼자서"라는 말이다. 여럿이 동시에 약속하고 바꾸면 더 좋아질 수 있어도, 혼자 움직여서는 좋아질 수 없다면 그 조합은 내쉬 균형이다.

$$u_i(s_i^*, s_{-i}^*) \ge u_i(s_i, s_{-i}^*) \quad \text{모든 } i, \text{ 모든 } s_i$$

내쉬 균형의 정의 — 상대 전략이 고정된 상태에서 나의 어떤 대안도 지금보다 낫지 않다

기호를 풀면 이렇다. 참가자 i의 이득을 u_i라고 쓰고, 별표가 붙은 s_i^*가 균형에서 i가 고른 전략, s_-i^*가 i를 뺀 나머지 사람들의 균형 전략이다. 부등식은 "나머지가 균형 전략을 유지할 때, 내가 다른 어떤 전략 s_i로 갈아타도 이득이 지금 이상으로 커지지 않는다"는 뜻이다. 이 조건이 모든 참가자에게 동시에 성립하면 내쉬 균형이다. 내쉬는 참가자 수와 전략 수가 유한한 게임이면 확률적으로 섞는 전략까지 허용할 때 이런 균형이 반드시 하나 이상 존재한다는 것을 증명했다.

내쉬 균형 찾는 법 — 죄수의 딜레마 표로 직접 해보기

가장 유명한 내쉬 균형 예제는 죄수의 딜레마다. 공범 두 명이 따로 조사를 받는다. 둘 다 침묵하면 각각 1년, 둘 다 자백하면 각각 5년, 한 명만 자백하면 자백한 쪽은 석방되고 침묵한 쪽은 10년을 산다. 찾는 법은 단순하다. 상대의 선택을 하나 고정해 놓고 내 최선을 표시하고, 상대의 다른 선택에 대해서도 같은 일을 반복한 뒤, 두 사람의 최선이 동시에 표시된 칸을 찾으면 된다.

상대가 침묵한다고 가정하면 나는 자백해서 0년을 받는 편이 1년보다 낫다. 상대가 자백한다고 가정해도 나는 자백해서 5년을 받는 편이 10년보다 낫다. 즉 상대가 무엇을 하든 자백이 낫고, 상대도 똑같이 계산한다. 그래서 (자백, 자백)이 유일한 내쉬 균형이다. 둘 다 침묵하는 (1년, 1년)이 두 사람 모두에게 더 좋은데도, 그 조합에서는 각자 혼자 이탈해 0년으로 갈 유혹이 있으므로 균형이 아니다. 내쉬 균형이 "가장 좋은 결과"가 아니라 "혼자 벗어날 수 없는 결과"라는 점이 여기서 드러난다.

같은 구조가 동네 편의점 두 곳의 가격 경쟁에도 그대로 나타난다. 둘 다 가격을 유지하면 각각 이익 10, 한 곳만 할인하면 할인한 쪽이 14, 유지한 쪽이 4, 둘 다 할인하면 각각 6이라고 하자. 상대가 유지하면 나는 할인(14 > 10)이 낫고, 상대가 할인해도 나는 할인(6 > 4)이 낫다. 결국 (할인, 할인)에서 각각 6을 얻는 것이 내쉬 균형이고, 둘 다 유지해서 10씩 가져가는 조합은 균형이 아니다. 담합이 법으로 금지되는데도 시장에서 가격이 자꾸 내려가는 이유를 이 표 하나가 설명한다.

우월전략·파레토 최적과 내쉬 균형의 차이

죄수의 딜레마에서는 상대가 무엇을 하든 자백이 나았다. 이렇게 상대 선택과 무관하게 항상 최선인 전략을 우월전략이라 부르고, 모두가 우월전략을 택한 조합은 당연히 내쉬 균형이다. 그러나 내쉬 균형이 항상 우월전략에서 나오는 것은 아니다. 두 운전자가 마주 달리다 먼저 핸들을 꺾는 쪽이 지는 치킨 게임을 보자. 상대가 직진하면 나는 꺾는 것이 낫고, 상대가 꺾으면 나는 직진하는 것이 낫다. 우월전략은 없지만 (직진, 회피)와 (회피, 직진) 두 조합이 모두 내쉬 균형이다. 균형이 여러 개일 때 어느 쪽으로 갈지는 수학이 아니라 관습, 신호, 먼저 움직인 쪽이 정한다.

파레토 최적은 다른 기준이다. 누군가의 이득을 줄이지 않고는 다른 누구의 이득도 늘릴 수 없는 상태를 뜻한다. 죄수의 딜레마의 (침묵, 침묵)은 파레토 최적이지만 내쉬 균형이 아니고, (자백, 자백)은 내쉬 균형이지만 파레토 최적이 아니다. 내쉬 균형은 "안정적인가"를 묻고 파레토 최적은 "낭비가 없는가"를 묻는다. 두 질문의 답이 어긋나는 상황이 바로 개인의 합리성이 집단의 손해로 이어지는 사회적 딜레마이며, 환경 규제나 공유 자원 관리처럼 규칙이 필요한 이유도 여기서 나온다.

혼합전략 내쉬 균형 — 페널티킥에서 확률 계산하기

가위바위보처럼 정해진 한 수만 내면 반드시 지는 게임에는 순수한 내쉬 균형이 없고, 확률로 섞는 혼합전략 균형이 있다. 계산 원리는 하나다. 내가 섞는 확률은 상대가 어느 쪽을 골라도 기대 이득이 같아지도록 정한다. 상대가 한쪽을 더 좋아하게 되면 그쪽으로 쏠려 내가 읽히기 때문이다.

페널티킥으로 숫자를 넣어 보자. 키커가 왼쪽으로 찰 때 골키퍼가 왼쪽으로 몸을 던지면 성공률 50%, 오른쪽으로 던지면 90%다. 오른쪽으로 찰 때는 골키퍼가 오른쪽이면 60%, 왼쪽이면 80%다. 키커가 왼쪽을 찰 확률을 p라 하면, 골키퍼가 왼쪽을 택할 때 기대 성공률은 50p + 80(1 − p), 오른쪽을 택할 때는 90p + 60(1 − p)다. 골키퍼가 어느 쪽을 택해도 손해가 같아지려면 두 식이 같아야 한다.

$$50p + 80(1-p) = 90p + 60(1-p) \;\Rightarrow\; 80 - 30p = 60 + 30p \;\Rightarrow\; p = \tfrac{1}{3}$$

키커의 혼합전략 — 왼쪽 1/3, 오른쪽 2/3로 섞어야 골키퍼가 읽을 수 없다

골키퍼도 같은 계산을 한다. 골키퍼가 왼쪽으로 던질 확률을 q라 하면 키커가 왼쪽을 찰 때 성공률은 50q + 90(1 − q), 오른쪽을 찰 때는 80q + 60(1 − q)이고, 두 식을 같게 놓으면 90 − 40q = 60 + 20q에서 q = 1/2이 나온다. 이때 키커의 성공률은 어느 쪽을 차도 70%로 같다. 왼쪽 성공률이 더 높아 보이는데도 왼쪽을 1/3만 차는 것이 답이라는 점이 혼합전략의 묘미다. 실제 프로 축구의 페널티킥 자료를 분석한 연구들에서 선수들의 좌우 선택 빈도가 이 계산과 놀랍도록 비슷하다는 결과가 보고된 바 있다.

내쉬 균형 실생활 활용 — 협상, 경매, 교통 체증

내쉬 균형은 상대의 최선을 먼저 계산하는 습관을 준다. 협상에서는 상대가 합의를 깨고 얻을 수 있는 대안이 무엇인지 알면, 그 대안보다 조금 나은 조건이 상대가 이탈하지 않는 균형점이 된다. 경매에서는 가장 높은 값을 부른 사람이 두 번째로 높은 값을 내는 방식이 자기 평가액을 그대로 부르는 것을 우월전략으로 만들도록 설계되어 있다. 교통에서는 각 운전자가 자기에게 가장 빠른 길만 고르는 내쉬 균형이 전체 이동 시간을 늘리고, 도로를 하나 없앴더니 오히려 정체가 풀리는 브레스의 역설로 이어진다. 신호 체계와 통행료는 이 균형을 사회적으로 더 나은 자리로 옮기려는 장치다.

개인적으로 중고 거래 가격을 정할 때 내쉬 균형 방식으로 생각해 본 적이 있다. 내가 부를 수 있는 값이 아니라 상대가 다른 판매자에게 가서 얻을 수 있는 값을 먼저 계산하고, 그보다 조금 유리한 조건을 제시하니 흥정이 길어지지 않았다. 표를 그려 보면 상대가 이탈할 동기가 남아 있는 칸과 없는 칸이 눈에 보이고, 감정이 아니라 구조로 결정하게 된다는 점이 가장 큰 수확이었다. 다만 실제 사람은 완전히 합리적이지 않고 신뢰나 평판처럼 표에 적히지 않는 변수가 있어서, 균형은 출발점이지 정답표가 아니라는 것도 함께 배웠다.

정리하면 내쉬 균형은 "각자가 상대의 선택을 주어진 것으로 보고 최선을 다한 결과 아무도 혼자 움직이지 않는 상태"이고, 찾는 법은 상대 선택을 고정하고 내 최선을 표시하는 일을 모든 경우에 반복하는 것이다. 균형이 최선과 다를 수 있다는 사실, 균형이 여러 개일 수 있다는 사실, 확률로 섞는 균형이 있다는 사실 세 가지만 기억하면 뉴스 속 가격 경쟁과 협상 기사가 다른 각도로 읽힌다.

함께 읽으면 좋은 글

죄수의 딜레마란? 뜻과 실제 사례, 수학적 원리 정리 기댓값 뜻과 계산 공식, 생활 속 확률 판단법 매몰비용이란? 뜻과 오류 예시, 기회비용과 차이 조건부 확률이란? 공식과 예제, 베이즈 정리까지 정리

참고 자료

Nobel Prize — 1994년 경제학상, 내쉬·하사니·젤텐의 비협조 게임 균형 분석 John F. Nash, "Equilibrium points in n-person games", PNAS (1950) — 균형 존재 증명 원전 Stanford Encyclopedia of Philosophy — Game Theory, 내쉬 균형·우월전략·혼합전략 해설 Palacios-Huerta, "Professionals Play Minimax", Review of Economic Studies (2003) — 페널티킥 혼합전략 실증