게임이론과 죄수의 딜레마 , 왜 최선 대신 차악을 선택할까?

게임이론과 죄수의 딜레마 — 카르텔이 왜 스스로 무너지는지, 기업 담합의 본질을 경제 초보자도 이해할 수 있게 풀어드립니다.

지난 글에서 카르텔이 내부적으로 불안정하다고 했습니다. 담합에 참여한 기업이 몰래 가격을 낮춰 혼자 이익을 챙기고 싶은 유혹 때문인데요. 이 '배신의 유혹'을 설명하는 이론적 도구가 바로 오늘의 주제, 게임이론입니다.
👉 카르텔이 처음이라면? — 카르텔. 기업들의 짜고 치는 고스톱 완전 정복

[ 목차 ]

• 1. " 나만 잘하면 돼 " 는 진짜일까?
• 2. 게임이론이란 무엇인가?: 서로가 서로에게 미치는 영향
• 3. 죄수의 딜레마 예시로 본 '개인의 합리성'이 무서운 이유
• 4. 우리 주변에 숨어 있는 죄수의 딜레마
• 5. 반복 게임과 Tit-for-Tat: 딜레마를 탈출하는 유일한 방법
• 6. 마치며

1. " 나만 잘하면 돼 " 는 진짜일까?

마트 계산대에서 옆 줄이 더 빨라 보이면 슬그머니 옮기고 싶어집니다. 그런데 모두가 같은 생각으로 줄을 옮기기 시작하면 어떻게 될까요? 결국 모든 줄이 다시 비슷해지거나 오히려 더 혼잡해집니다.

 

이처럼 "각자가 자신에게 최선인 선택을 했는데, 전체 결과는 최악"이 되는 상황이 경제학 곳곳에 숨어 있습니다. 이를 분석하는 학문적 도구가 바로 게임이론(Game Theory)입니다. 처음 들으면 어렵게 느껴지지만, 핵심만 잡으면 세상을 보는 눈이 완전히 달라집니다.

---

2. 게임이론이란 무엇인가?: 서로가 서로에게 미치는 영향

게임이론은 서로의 행동이 영향을 미치는 상황에서 사람들이 어떻게 의사결정을 내리는지 연구하는 학문입니다. 여기서 '게임'은 우리가 즐기는 오락이 아니라, 참여자(플레이어)·전략·보상이 갖춰진 모든 상황을 의미합니다. 기업 간 경쟁, 국가 간 협상, 직장 내 눈치 싸움까지 — 우리 삶의 수많은 순간을 게임이론의 시각으로 해석할 수 있습니다.

 

수학자 존 폰 노이만과 경제학자 오스카 모르겐슈테른이 1944년 이를 체계화했고, 이후 존 내시가 '내시 균형(Nash Equilibrium, 흔히 내쉬균형이라고도 함)' 개념을 발전시켜 1994년 노벨 경제학상을 받았습니다. 내시는 영화 〈뷰티풀 마인드〉의 실제 주인공이기도 하죠.

 

내시 균형이란 간단히 말해, 모든 참여자가 상대방의 전략을 고려했을 때 더 이상 자신의 전략을 바꿀 이유가 없는 상태를 뜻합니다. 즉, 상대방이 어떻게 나오든, 나에게는 이 선택이 최선이기 때문에 다른 선택으로 마음을 바꿔봤자 이득이 없는 상태입니다.

---

3. 죄수의 딜레마 예시로 본 '개인의 합리성'이 무서운 이유

게임이론에서 가장 유명하고 중요한 사례가 바로 **죄수의 딜레마(Prisoner's Dilemma)**입니다.

시나리오는 이렇습니다. 범죄 혐의를 받는 두 용의자 A와 B가 각각 다른 방에서 조사를 받습니다. 서로 연락할 수 없는 상황에서 각자 두 가지 중 하나를 선택해야 합니다: 침묵(협력) 또는 자백(배신).

상황A의 결과B의 결과

둘 다 침묵	1년 형	1년 형
A만 자백	석방	10년 형
B만 자백	10년 형	석방
둘 다 자백	5년 형	5년 형

 

A의 입장에서 아주 합리적으로 따져봅시다.

1. B가 침묵한다면, A가 자백하면 석방이고 침묵하면 1년형입니다. 자백이 유리합니다.
2. B가 자백한다면, A가 자백하면 5년형, 침묵하면 10년형입니다. 역시 자백이 유리합니다.

A에게는 B가 무엇을 선택하든 자백이 '우월 전략(Dominant Strategy)'이 됩니다. B도 정확히 같은 논리로 자백을 선택합니다. 결과는? 둘 다 5년 형이라는 '차악'의 결과입니다.

 

만약 둘 다 의리를 지켜 침묵을 택했다면 각각 1년 형으로 훨씬 나은 결과를 얻을 수 있었습니다. 개인의 합리적 선택이 집단에게는 최악의 결과를 낳는 것, 이것이 죄수의 딜레마가 우리에게 주는 강렬한 교훈입니다.

---

4. 우리 주변에 숨어 있는 죄수의 딜레마

이 구조는 생각보다 훨씬 가까운 곳에 있습니다.

 

군비 경쟁: 두 나라가 모두 무기를 줄이면 막대한 예산을 절약하고 평화를 유지할 수 있습니다. 하지만 상대가 먼저 군비를 늘려 우리를 침략할까 봐 서로 경쟁적으로 무기를 쌓습니다. 결국 둘 다 안보도 불안하고 국민 생활도 팍팍해지는 결과를 맞습니다.

 

기업의 광고 전쟁: 두 경쟁사가 과도한 광고비 지출을 함께 줄이면 비용을 크게 아낄 수 있습니다. 하지만 상대가 광고를 늘려 시장을 빼앗길까 봐 서로 막대한 광고비를 쏟아붓습니다. 소비자 입장에서는 광고 노출만 늘어날 뿐 제품 품질이 더 나아지지는 않습니다.

 

환경 문제: 전 세계 국가들이 탄소 배출을 줄이면 모두에게 이롭습니다. 그런데 나 혼자 줄이면 경제적 손해를 보고, 남들도 어차피 안 줄일 것 같아 다들 눈치를 보다 행동하지 않습니다. 기후 협약이 매번 어렵게 타결되거나 유명무실해지는 이유가 여기에 있습니다.

5. 반복 게임과 Tit-for-Tat: 딜레마를 탈출하는 유일한 방법

그렇다면 현실에서 협력은 영원히 불가능한 걸까요? 다행히 현실은 단판 승부가 아닙니다. 협력을 가능하게 만드는 핵심 열쇠는 반복과 신뢰입니다.

 

단 한 번의 게임이라면 배신이 합리적이지만, 같은 상대와 반복해서 게임을 한다면 이야기가 완전히 달라집니다. 내가 배신하면 상대가 기억하고 다음 번에 보복할 수 있기 때문입니다. 이를 반복 게임(Repeated Game)이라고 합니다.

 

반복 게임에서 가장 효과적인 전략은 '눈에는 눈(Tit-for-Tat)'으로 알려져 있습니다.

1. 처음에는 협력한다.
2. 이후에는 상대방이 직전에 한 행동을 그대로 따라 한다.

상대가 협력하면 나도 협력하고, 상대가 배신하면 나도 배신하는 방식이죠. 단순하지만 이 전략은 실제 실험에서 가장 강력한 성과를 냈으며, 상호 신뢰를 쌓고 장기적인 협력을 유도하는 데 가장 효과적이었습니다.

 

국제 무역 협정, 기업 담합 규제, 환경 협약이 존재하는 이유도 바로 이 원리입니다. 게임의 구조 자체를 바꿔 협력이 이득이 되도록 설계하는 것, 이것이 많은 경제 정책과 제도의 숨은 목표입니다.

---

6. 마치며

게임이론은 단순한 수학 모델이 아닙니다. "왜 착한 사람들이 모여도 나쁜 결과가 나올까?", "왜 서로 손해인 줄 알면서도 경쟁을 멈추지 못할까?" 같은 질문에 답을 주는 강력한 사고 도구입니다.

 

결국 죄수의 딜레마를 깨는 힘은 단순히 상대를 믿는 '마음'보다는, '배신하면 나도 손해'라는 것을 확실히 인식하게 만들거나 협력에 따른 확실한 이득을 주는 '제도의 설계'에 있습니다. 국제 무역 협정이나 기업 담합 규제가 존재하는 이유도 바로 이 게임의 구조를 바꾸기 위해서입니다.

 

다음에 뉴스에서 무역 분쟁, 기업 담합, 기후 협약 실패 소식을 접한다면, 그 이면에 죄수의 딜레마가 작동하고 있지는 않은지 한번 떠올려보세요. 경제를 읽는 눈이 한 단계 깊어질 것입니다.