에르되시 이어 리만 가설 노리는 AI — 리만 가설이란, 100만 달러 난제 총정리

📐 수학 이야기

리만 가설 뜻과 제타 함수·소수 분포의 관계부터, 에르되시 문제 대량 해결로 달아오른 AI 수학 증명 경쟁이 왜 다음 표적으로 리만 가설을 지목하는지까지 검색어 그대로 정리한다.

AI가 수학 난제를 연달아 무너뜨리고 있다. 2026년 1월 필즈상 수상자 테렌스 타오 교수가 약 50년 묵은 에르되시 문제 728번의 AI 자율 해결을 발표한 데 이어, 8월 초에는 87년 된 자코비안 추측의 반례까지 AI 손에서 나왔다. 이제 수학계와 검색창의 관심은 한 곳으로 모인다. 100만 달러 현상금이 걸린 최대 난제, 리만 가설이다.

---

리만 가설이란 무엇인가 — 소수의 지도를 그리는 문제

리만 가설이란 1859년 독일 수학자 베른하르트 리만이 논문 「주어진 수보다 작은 소수의 개수에 관하여」에서 제시한 추측으로, 소수가 수직선 위에 어떤 규칙으로 흩어져 있는지를 설명하는 가설이다. 2, 3, 5, 7, 11처럼 1과 자기 자신으로만 나누어지는 소수는 겉보기엔 아무 규칙 없이 나타나는 것 같지만, 리만은 제타 함수라는 하나의 함수 안에 소수 분포의 비밀이 통째로 담겨 있다는 사실을 발견했다.

리만 가설을 쉽게 설명하면 이렇다. 제타 함수가 0이 되는 지점, 즉 영점의 위치를 모두 알면 소수의 개수를 오차 없이 셀 수 있다. 리만 가설은 "의미 있는 영점은 전부 실수부가 2분의 1인 임계선 위에 있다"는 주장이다. 지금까지 컴퓨터로 10조 개가 넘는 영점을 확인했고 단 하나의 예외도 없었지만, 무한히 많은 영점 전체에 대한 증명은 167년째 아무도 내놓지 못했다.

리만 가설은 1900년 힐베르트의 23개 문제와 2000년 클레이 수학연구소의 밀레니엄 문제에 모두 이름을 올린 유일한 문제다. 밀레니엄 문제 7개 중 지금까지 해결된 것은 푸앵카레 추측 하나뿐이고, 리만 가설을 증명하는 사람에게는 100만 달러, 우리 돈 약 13억 원의 상금이 지급된다.

제타 함수 식으로 보는 리만 가설 — 임계선 위의 영점

리만 가설의 주인공인 제타 함수는 자연수의 거듭제곱 역수를 모두 더한 무한급수로 정의된다.

$$\zeta(s)=\sum_{n=1}^{\infty}\frac{1}{n^{s}}=1+\frac{1}{2^{s}}+\frac{1}{3^{s}}+\cdots$$

여기서 $s$는 복소수 변수, $n$은 자연수다. 이 급수를 복소평면 전체로 확장한 것이 리만 제타 함수다.

이 함수가 소수와 연결되는 다리는 오일러가 먼저 놓았다. 제타 함수는 모든 소수 $p$에 대한 곱으로도 똑같이 쓸 수 있다.

$$\zeta(s)=\prod_{p}\frac{1}{1-p^{-s}}$$

왼쪽은 자연수 전체의 합, 오른쪽은 소수 전체의 곱이다. 자연수의 세계와 소수의 세계가 하나의 등식으로 묶이는 셈이다. 그래서 제타 함수의 영점, 즉 $\zeta(s)=0$이 되는 복소수 $s$의 위치는 곧 소수 분포의 요동을 기록한 지도가 된다. 리만 가설을 식으로 쓰면 다음과 같다.

$$0<\mathrm{Re}(s)<1,\ \ \zeta(s)=0\ \ \Longrightarrow\ \ \mathrm{Re}(s)=\frac{1}{2}$$

임계대라 부르는 폭 1짜리 띠 안의 영점이 모두 실수부 $\frac{1}{2}$ 위에 정렬해 있다는 뜻이다. 이 한 줄이 참이면 소수 정리의 오차가 얼마나 작은지까지 정밀하게 확정되고, 소수 개수를 근사하는 공식 $\pi(x)\sim\frac{x}{\ln x}$의 품질 보증서가 완성된다.

AI 수학 증명은 어디까지 왔나 — 에르되시 728번부터 자코비안 반례까지

리만 가설이 갑자기 다시 검색어에 오른 이유는 올해 AI의 성적표 때문이다. 2026년 1월 테렌스 타오 교수는 약 50년간 미해결이던 에르되시 문제 728번을 AI가 사람이 모르던 답까지 스스로 찾아 해결했다고 발표했고, 며칠 뒤 다른 연구팀은 챗GPT 프로로 에르되시 397번을 약 15분 만에 증명했다. 이후 그록이 729번과 401번을 풀었다는 보고가 이어졌고, 8월 초 퀀타 매거진은 "전설의 에르되시 문제들이 AI에 무너지고 있다"는 분석 기사를 실었다.

같은 8월 초에는 성격이 다른 사건도 있었다. 앤스로픽 소속 수학자가 AI 모델과 함께 87년 된 자코비안 추측에서 3차원 이상일 때 성립하지 않는 반례를 찾아낸 것이다. 긍정적 증명뿐 아니라 반례 사냥에서도 AI가 통한다는 사실이 확인되면서, 남은 질문은 자연스럽게 "그렇다면 리만 가설은?"이 됐다.

2026년 AI 수학 증명 주요 장면

• 1월 — 테렌스 타오, 에르되시 문제 728번의 AI 자율 해결 발표. "새로운 이정표" 평가
• 1월 — 챗GPT 프로, 에르되시 397번을 약 15분 만에 증명. 그록은 729번·401번 해결
• 8월 초 — 87년 난제 자코비안 추측, AI가 찾은 반례로 3차원 이상에서 거짓 판명
• 현재 — 증명 검증 도구 린(Lean)의 라이브러리 매스리브에 리만 가설의 진술이 형식화되어 등록됨

환각이 치명적인 수학에서 AI가 신뢰를 얻은 비결은 형식 검증이다. AI가 내놓은 증명을 린 언어로 옮겨 컴퓨터가 논리 오류를 기계적으로 판정하고, 전 세계 수학자들이 매스리브에 개념을 형식화해 쌓아 둔 덕분에 리만 가설 같은 거대 난제도 부품 단위로 공략할 준비가 되어 가는 중이다.

리만 가설 증명은 왜 어려운가 — 에르되시 문제와의 결정적 차이

그렇다면 AI는 리만 가설도 곧 풀 수 있을까. 전문가들의 답은 "당장은 아니다"에 가깝다. 에르되시 문제들은 대체로 진술이 짧고 조합론적 아이디어 하나로 승부가 나는 저격형 문제인 반면, 리만 가설은 해석학·정수론·기하학이 얽힌 거대한 이론 체계 전체를 요구하는 문제다. 실제로 지금까지 나온 부분 결과들, 예컨대 임계선 위에 무한히 많은 영점이 있다는 하디의 정리조차 증명에 수십 쪽의 해석학이 동원된다.

타오 교수는 리만 가설에 대해 완전히 새로운 수학 이론이나 서로 무관해 보이던 분야 사이의 연결이 발견되어야 풀릴 가능성이 높다며, 인간 최고 지성과 AI 도구가 협력하는 형태가 될 것이라고 전망했다. 4색 정리처럼 계산력으로 밀어붙일 수 있는 문제가 아니라는 이야기다. 리만 가설이 무너지는 날이 온다면, 그것은 AI가 혼자 이룬 성과라기보다 인간의 직관과 기계 추론이 함께 쓴 증명일 가능성이 크다.

지금 리만 가설을 알아 두면 무엇이 보이나

리만 가설은 순수 수학의 장식품이 아니다. 현대 암호가 기대는 소인수분해의 어려움, 큰 수에서 소수를 찾는 알고리즘의 성능 분석은 모두 소수 분포에 대한 이해 위에 서 있고, 그 이해의 꼭대기에 리만 가설이 있다. 수백 개의 정리가 이미 "리만 가설이 참이라면"이라는 조건 아래 증명되어 있어서, 가설이 확정되는 순간 수학책 수백 쪽이 한꺼번에 무조건 참으로 승격된다.

학부 시절 해석적 정수론 수업에서 제타 함수를 처음 만났을 때, 소수 세기라는 초등학생도 이해할 질문이 복소평면 위 영점의 위치 문제로 바뀌는 장면에서 소름이 돋았던 기억이 있다. 문제를 이해하는 데는 고등학교 수준의 급수 개념이면 충분한데, 푸는 데는 인류의 수학 전체가 모자란다는 낙차가 리만 가설의 매력이다. 올해처럼 에르되시 문제가 무너지는 소식이 이어질수록 그 낙차가 어디까지 줄어들지 지켜보는 재미도 커졌다.

정리하면 이렇다. 리만 가설이란 제타 함수의 영점이 모두 임계선 위에 있다는 추측이고, 소수 분포의 정밀도를 결정하는 수학 최대의 미해결 문제이며, 에르되시 문제들을 무너뜨린 AI 증명 열풍이 다음으로 겨누는 표적이다. 100만 달러의 주인이 사람일지, 사람과 AI의 합작일지는 아직 아무도 모른다.

함께 읽으면 좋은 글

자코비안 추측 반례 등장 — 자코비안 뜻과 87년 난제 총정리 에르되시 문제 GPT로 풀렸나 — 오픈AI 아스트라 증명 10건 총정리 테일러 급수 활용 사례와 전개 공식 유도

참고 자료

Quanta Magazine — Why the Legendary Erdős Problems Are Falling to AI (2026.08.03) ScienceDaily — AI finds a tiny formula that topples an 87-year-old math conjecture (2026.08.04) 여성경제신문 — 50년 수학 난제 15분 만에 푼 AI, 리만 가설 정복 나서나 (2026.05.03) Clay Mathematics Institute — Riemann Hypothesis (밀레니엄 문제 공식 페이지)