40년 난제 M23 해결 — 갈루아 이론과 역갈루아 문제 정리

📐 수학 이야기

역갈루아 문제에서 40년간 마지막으로 남아 있던 M23이 풀렸다. 갈루아 이론이 방정식의 대칭을 군으로 바꿔 읽는 방식부터, 산발 단순군 26개 중 M23만 남았던 이유와 AI가 실제로 맡은 역할까지 정리했다.

8월 논문 사전 공개 사이트 아카이브에 올라온 한 편의 논문이 수학계의 관심을 모았다. 첫 페이지에 실린 것은 일부 계수가 14자리에 이르는 23차 다항식이었다. 역갈루아 문제에서 약 40년간 풀리지 않고 남아 있던 M23의 해답이다. 갈루아 이론의 오래된 미해결 항목 하나가 두 달 만에 채워졌다.

무슨 일이 있었나

연구에 참여한 이규환 미국 코네티컷대 수학과 교수는 고등과학원(KIAS) AI 기초과학센터 스칼라를 겸하고 있다. 서울대 수학과에서 학사와 석사, 박사를 마쳤고 전공은 순수수학, 그중에서도 대수학과 수론이다. 이전에는 AI를 이용해 타원곡선에서 머머레이션이라 불리는 새로운 패턴을 찾아낸 연구로 알려졌다.

출발점은 5월 말 미국수학연구소(AIM) 워크숍이었다. 거기서 시작한 작업이 두 달 만에 결론에 닿았다. 수식으로 빼곡한 논문에 '기적적으로(Miraculously)'라는 표현이 두 번이나 등장한 것도 이례적인 일로 회자됐다. 9월 7일 화상 인터뷰에서 이 교수는 그 표현에 대해 "AI와 함께 미지의 영역을 헤쳐간 수학자들의 놀라움이 드러난 것"이라고 설명했다. 갈루아 이론을 다루는 논문에서 좀처럼 보기 어려운 어휘다.

갈루아 이론은 무엇을 하는 이론인가

갈루아 이론의 출발점은 단순한 관찰이다. 방정식의 근들은 서로 바꿔 놓아도 계수들 사이의 관계식이 그대로 유지되는 경우가 있다. 이 '바꿔 놓기'의 모음을 모으면 군이 된다. 계수가 놓인 체를 $K$, 근들을 모두 붙여 만든 확대체를 $L$이라 할 때, $K$를 건드리지 않는 $L$의 자기동형사상 전체가 갈루아 군이다.

$$\mathrm{Gal}(L/K) = \{\, \sigma \in \mathrm{Aut}(L) \;:\; \sigma(a) = a \ \ \forall a \in K \,\}$$

$\sigma$는 체 $L$의 자기동형사상, $K$는 계수가 놓인 바탕체. 바탕체의 원소를 전부 제자리에 두는 사상만 모은 것이 갈루아 군이다

갈루아 이론의 핵심 성과는 이 군의 부분군들과 중간체들이 정확히 일대일로 대응한다는 사실이다. 이를 갈루아 이론의 기본정리라 부른다. 부분군 $H$에는 $H$가 고정하는 원소들의 집합이, 중간체 $M$에는 $M$을 고정하는 사상들의 군이 대응한다. 큰 군에는 작은 체가, 작은 군에는 큰 체가 짝지어지는 뒤집힌 대응이다.

$$H \longmapsto L^{H}, \qquad M \longmapsto \mathrm{Gal}(L/M), \qquad [L:M] = |\mathrm{Gal}(L/M)|$$

$L^H$는 $H$의 모든 원소가 고정하는 $L$의 부분체, $[L:M]$은 확대 차수. 체의 크기가 군의 위수로 그대로 번역된다

이 대응이 갈루아 이론을 강력하게 만든다. 체에 관한 질문, 곧 방정식을 어떤 연산으로 풀 수 있느냐는 질문이 군에 관한 질문으로 바뀐다. 군은 유한하고 구조가 분류돼 있으므로, 원래보다 훨씬 다루기 쉬운 대상 위에서 답을 찾을 수 있다.

5차 방정식에 근의 공식이 없는 이유

갈루아 이론이 처음 유명해진 계기가 이 문제다. 사칙연산과 거듭제곱근만으로 근을 적어낼 수 있으려면, 갈루아 군이 아벨 몫들을 차례로 쌓아 올린 구조여야 한다. 이 조건을 만족하는 군을 가해군이라 부른다.

$$1 = G_0 \triangleleft G_1 \triangleleft \cdots \triangleleft G_m = G, \qquad G_{i+1}/G_i \ \text{는 아벨군}$$

거듭제곱근을 한 번 씌우는 조작이 아벨 몫 하나에 대응한다. 이런 사슬이 존재할 때만 근호로 풀린다

일반적인 5차 방정식의 갈루아 군은 다섯 개 근을 마음대로 섞는 대칭군이 된다. 그런데 그 안의 교대군은 단순군이라 더 이상 쪼갤 수 없고, 아벨군도 아니다. 사슬이 거기서 끊기므로 근의 공식이 존재할 수 없다.

$$\mathrm{Gal}(f/\mathbb{Q}) \cong S_5, \qquad A_5 \ \text{는 단순군} \ \Longrightarrow \ S_5 \ \text{는 가해군이 아니다}$$

$S_5$는 5차 대칭군, $A_5$는 그 안의 교대군. 단순군이 끼어들면 아벨 몫 사슬이 만들어지지 않는다

주목할 점은 결론의 성격이다. 갈루아 이론은 "아직 공식을 못 찾았다"가 아니라 "공식이 존재할 수 없다"를 증명했다. 불가능성을 증명하는 도구라는 점이 이 이론의 성격을 규정한다.

역갈루아 문제는 방향이 반대다

보통의 갈루아 이론은 방정식을 주고 그 대칭 구조가 무엇인지 묻는다. 역갈루아 문제는 순서를 뒤집는다. 원하는 군을 먼저 지정한 뒤, 유리수를 계수로 하면서 그 군을 갈루아 군으로 갖는 방정식을 만들어 내라는 요구다. 요리를 먹고 맛을 알아내는 것이 보통 수학이라면, 역갈루아 문제는 맛을 먼저 정해 놓고 그 맛이 나는 요리를 만들라는 주문에 가깝다.

$$\text{주어진 유한군 } G \text{에 대해} \quad \mathrm{Gal}(L/\mathbb{Q}) \cong G \text{ 인 확대체 } L \text{이 존재하는가?}$$

유리수체 위에서 모든 유한군이 실현되는지는 아직 일반적으로 증명되지 않은 미해결 문제다

이 문제는 군 하나하나에 대해 개별적으로 공략돼 왔다. 아벨군은 오래전에 해결됐고 가해군도 정리됐지만, 단순군 쪽은 사정이 다르다. 특히 어느 무한 계열에도 속하지 않는 예외적 단순군들, 이른바 산발 단순군 26개가 남은 표적이었다.

M23은 왜 마지막까지 남았나

산발 단순군 26개 중 25개는 이미 유리수체 위에서 갈루아 군으로 실현됐다. 끝까지 남은 하나가 M23이다. 23개 문자를 섞는 대칭군 안에 들어앉은 마티외 군으로, 위수는 천만 개를 조금 넘는다.

$$|M_{23}| = 10{,}200{,}960 = 2^{7} \cdot 3^{2} \cdot 5 \cdot 7 \cdot 11 \cdot 23$$

마티외 군 $M_{23}$의 위수. 23개 점 위에 작용하는 4중 추이적 치환군이다

난이도의 정체는 탐색 공간에 있다. 목표는 유리수 계수 23차 다항식을 하나 찾는 것인데, 그 다항식의 갈루아 군이 정확히 M23이 되도록 계수를 맞춰야 한다.

$$f(x) = x^{23} + a_{22}x^{22} + \cdots + a_1 x + a_0 \in \mathbb{Q}[x], \qquad \mathrm{Gal}(f/\mathbb{Q}) \cong M_{23}$$

계수 $a_i$는 모두 유리수. 이번 논문에서 찾아낸 해답은 일부 계수가 14자리에 이르는 거대한 다항식이었다

조건을 만족하는 계수 조합은 극도로 희소하다. 계수가 수십조 단위까지 커진다는 것은, 사람이 손으로 후보를 훑어서는 도달할 수 없는 영역에 답이 숨어 있었다는 뜻이다. 갈루아 이론이 요구하는 조건은 명확한데 그 조건을 만족하는 구체적 사례를 찾는 계산량이 감당 불가능했던 것, 이것이 40년의 정체를 만든 원인이다.

한눈에 보는 정리

• 갈루아 이론 — 방정식의 근을 섞는 대칭을 군으로 바꿔, 체의 문제를 군의 문제로 옮긴다
• 역갈루아 문제 — 군을 먼저 지정하고, 그 군이 갈루아 군이 되는 유리수 계수 방정식을 찾는다
• 산발 단순군 26개 중 25개는 해결, M23만 약 40년간 미해결로 남아 있었다
• 해답은 일부 계수가 14자리에 달하는 23차 다항식이며, 연구 기간은 두 달이었다

AI가 한 일과 하지 않은 일

이 교수의 설명에 따르면 AI가 맡은 것은 방대한 계산과 코딩, 가설 후보의 빠른 검증이었다. 어느 방향으로 계산할지 정하고 나온 결과가 수학적으로 타당한지 판단하는 일은 사람의 몫으로 남았다. 그는 AI의 수준을 "박사과정 말년이나 박사후연구원에 가깝다"고 표현했다. 예전에는 학생에게 자료 조사를 맡기면 다음 날 결과를 받았는데 지금은 10분이면 온다는 것이다.

인상적인 대목은 이해가 뒤따라왔다는 증언이다. AI가 먼저 옳은 계산 결과를 가져왔는데 처음에는 어떻게 그 결과가 나왔는지 이해하지 못했다고 한다. 그는 이를 2016년 알파고의 37수에 빗댔다. 당시 정상급 기사들이 이해하지 못했던 수가 나중에 보니 승부를 가른 수였던 것처럼, 갈루아 이론의 계산에서도 같은 순서가 반복됐다는 것이다.

"AI가 독자적으로 푼 것이 절대 아니지만, AI가 없었다면 이렇게 빨리 해법을 찾는 것도 불가능했다." 이 교수는 인간과 AI의 기여도를 묻는 질문에 오케스트라에서 지휘자와 연주자의 몫을 몇 대 몇으로 나누기 어려운 것과 같다고 답했다.

나는 학부 대수학 수업에서 갈루아 이론을 처음 배울 때, 기본정리의 대응을 손으로 그려 놓고도 한참 동안 그게 왜 대단한지 실감하지 못했다. 이번 소식을 읽으면서야 그 대응의 쓰임새가 선명해졌다. 조건을 진술하는 일과 조건을 만족하는 실물을 찾아내는 일은 전혀 다른 노동이고, 40년이라는 간격은 그 둘 사이의 거리였다.

이 교수는 앞으로 5년에서 10년간 수학계가 혼란을 겪겠지만 그 시기를 넘기면 황금기가 올 수 있다고 내다봤다. 필즈상에 대해서는 "2030년이 마지막 필즈상일 것이라는 전망도 있다"며, AI와의 협업 범위에 선을 긋기 어려워지면 평가 기준 자체가 흔들릴 수 있다고 말했다. 동시에 AI가 강력해질수록 인간의 수학적 사고가 더 중요해진다고도 했다. AI의 답을 검증할 능력을 잃으면 잘못된 방향으로 가도 알아채기 어렵기 때문이다.

함께 읽으면 좋은 글

고유값 고유벡터 구하는 법 — 정의부터 예제까지 2027 수능 응시자 55만 명·확통 65% 쏠림 — 수능 표준점수 계산법 생존자 편향이란? 뜻과 예시, 오류를 피하는 법

참고 자료

조선일보 — 40년 수학 난제, AI로 두 달 만에 해결… 이규환 교수 인터뷰 (2026.09.08) arXiv math.NT — 정수론 분야 논문 사전 공개 목록 American Institute of Mathematics — 연구 워크숍 프로그램