게오르크 칸토어: 무한을 셀 수 있게 만든 사람

1874년 1월, 칸토어는 친구 리하르트 데데킨트(Richard Dedekind)에게 질문을 던졌다. "표면(예: 경계를 포함하는 정사각형)을 선에 일대일 대응시킬 수 있는가... 즉, 표면 위의 모든 점에 대해 선 위의 대응하는 점이 존재하고 그 반대도 성립하는가?" 그는 답이 명백히 아니라고 가정했다. 3년 후 그는 답이 '예'임을 증명했다. 즉, 정사각형 전체, 사실상 몇 차원의 공간이든 단일 선분과 정확히 같은 수의 점을 포함한다는 것이었다. 그는 즉시 데데킨트에게 편지를 썼다. "나는 그것을 보지만, 믿을 수가 없다!"

상인의 아들, 상트페테르부르크에서 태어나다

게오르크 페르디난트 루트비히 필리프 칸토어(Georg Ferdinand Ludwig Philipp Cantor)는 1845년 3월 3일 상트페테르부르크에서 태어났다. 그의 아버지 게오르크 발데마르 칸토어(Georg Waldemar Cantor)는 성공한 상인이었고, 어머니 마리아 안나 뵘(Maria Anna Böhm)은 러시아 출신으로 음악적 재능이 뛰어났다. 1856년 게오르크가 11세가 되었을 때, 아버지의 건강 문제로 가족은 독일로 이주하여 비스바덴에 정착했다.

그는 프랑크푸르트의 김나지움과 다름슈타트의 실업학교(Realschule)를 다녔으며, 1860년 수학과 삼각법에서 뛰어난 성적으로 졸업했다. 아버지는 그가 공학을 공부하기를 원했으나, 칸토어는 설득 끝에 수학을 공부할 허락을 얻어냈다. 1862년 취리히 연방 공과대학교에 입학했고, 1863년 6월 아버지가 사망한 후 베를린 대학교로 편입하여 바이어슈트라스(Weierstrass), 쿠머(Kummer), 레오폴트 크로네커(Leopold Kronecker) 밑에서 공부했으며, 헤르만 슈바르츠(Hermann Schwarz)와 친구가 되었다. 부정방정식에 관한 그의 학위 논문은 1867년에 완성되었다.

할레, 그리고 하이네의 문제

베를린의 여자 학교에서 잠시 교편을 잡은 후, 칸토어는 1869년 할레 대학교에 합류했는데, 이곳은 그가 평생 경력을 보낼 지방 대학이었다. 그의 동료 하이네(Heine)는 그에게 삼각 급수 표현의 유일성에 관한 오랜 문제를 건네주었다. 칸토어는 1870년 4월 이를 해결했다.

그 문제는 모든 것의 씨앗이었다. 그러한 급수가 제대로 작동하지 않을 수 있는 예외적인 점들을 추적하는 과정에서 그는 무한한 점의 집합에 대해 깊이 고민하게 되었고, 1872년에는 유리수의 수렴 수열을 통해 무리수를 정의했으며, 10년 동안 그를 지탱할 데데킨트와의 서신 교환을 시작했다.

하나 이상의 무한

1874년 칸토어는 세상을 뒤흔든 결과를 발표했다. 그는 유리수가 자연수와 일대일 대응이 가능하며, 즉 가산(countable)하지만 실수는 그렇지 않음을 증명했다. 무한은 하나가 아니라 적어도 두 개 이상 존재하며, 그 크기도 다르다는 것이다.

이 방법은 그가 고안한 기준이었다. 두 집합의 구성원을 정확히 짝지을 수 있다면, 아무리 크더라도 그 크기는 같다. 이는 마술처럼 보였으며 그 결과는 즉각적이고 파격적이었다. 칸토어는 이로부터 "거의 모든" 수가 대수적 수가 아닌 초월수라는 사실이 도출됨을 관찰했다. 이는 단 하나도 제시하지 않고도 수의 전체 분류에 대한 존재를 증명한 것이었다.

초한수

1878년 크렐레(Crelle)의 '저널(Journal)'에 발표된 그의 논문은 "가산 집합(denumerable sets)"이라는 용어를 도입했다. 크로네커의 적대감으로 출판이 거의 무산될 뻔했고 데데킨트가 개입해야 했다. 칸토어는 다시는 크렐레의 저널에 투고하지 않았다.

1879년에서 1884년 사이 그는 '수학 연보(Mathematische Annalen)'에 집합론의 기초를 다지는 6편의 논문을 발표했다. 1883년의 '일반 집합론의 기초(Grundlagen einer allgemeinen Mannigfaltigkeitslehre)'는 초한수를 "자연수의 자율적이고 체계적인 확장"으로 제시했다. 이는 억지나 극한이 아니라 순서를 매기고 산술 연산을 할 수 있는 수였다. 그는 자신이 하는 일을 알고 있었다. "나는 이 작업에서 수학적 무한에 관한 널리 퍼진 견해와 어느 정도 대립하고 있음을 깨닫고 있다."

그는 초한 기수를 히브리어 문자 알레프(aleph)로 표기하여 ℵ₀를 가장 작은 것으로 삼았고, 실수의 크기를 2^ℵ₀로 표현했다. 이것이 그의 남은 생을 소모하게 만든 질문을 던졌다. 연속체는 가산 무한 다음의 바로 다음 무한인가? 즉 2^ℵ₀ = ℵ₁인가? 그는 크로네커의 구성주의에 맞서 선언문을 발표했다. "수학의 본질은 정확히 그 자유에 있다."

붕괴, 베이컨, 그리고 교황

칸토어는 1884년 5월 처음으로 기록된 우울증을 겪었다. 오래된 이야기는 크로네커의 박해가 그를 미치게 했다는 것이지만, 현대적인 해석은 인과관계를 뒤집어 우울증이 수학적 고민을 만들어낸 것이 아니라 고민이 우울증을 증폭시켰다고 본다. 그는 수년간 연속체 가설이 참임을 증명했다고 믿는 것과 거짓임을 증명했다고 믿는 것 사이를 오갔고, 매번 오류를 찾아냈다.

1885년 미타-레플레르(Mittag-Leffler)는 논문이 약 100년 앞서 있다는 이유로 '악타 마테마티카(Acta Mathematica)'에서 논문을 철회하도록 설득했다. 칸토어의 농담은 씁쓸했다. "미타-레플레르의 뜻대로라면 1984년까지 기다려야 할 텐데, 나에게는 너무 과한 요구였다!" 그들의 서신은 사실상 끝났고, 집합론을 구축했던 12년간의 창조적 폭발도 함께 끝났다.

우울한 시기에 그는 철학과 문학에 몰두했다. 프랜시스 베이컨(Francis Bacon)이 셰익스피어의 희곡을 썼다는 이론에 집착하여 1896-97년에 관련 소책자를 출판하기도 했다. 그는 또한 독실한 신자였으며 초한수가 신으로부터 전달되었다고 믿었다. 그는 가톨릭 신학자들과 무한의 본질에 대해 서신을 주고받았고, 자신의 수학이 교회의 교리에 도움이 되기를 바라며 교황 레오 13세(Pope Leo XIII)에게 직접 편지를 쓰기도 했다.

마지막 수십 년

그는 1890년경 독일 수학자 협회(Deutsche Mathematiker-Vereinigung)를 창립하고 초대 회장을 역임했다. 1895년과 1897년에 발표된 그의 마지막 주요 논문들은 초한 산술과 정렬 집합을 다루었다. 1897년 취리히 국제 수학자 대회에서 그는 후르비츠(Hurwitz)와 아다마르(Hadamard)로부터 공개적인 칭찬을 받았고 데데킨트와 화해했다.

그 무렵 그는 스스로 균열을 발견했다. 1896년 힐베르트(Hilbert)에게 집합론에 잠재된 역설에 대해 알렸고, 부랄리-포르티(Burali-Forti)는 1897년에 독립적으로 하나를 발표했다. 개인적인 상실이 빠르게 찾아왔다. 1896년 10월 어머니, 1899년 1월 형제, 1899년 12월 16일 막내아들을 잃었다. 우울증이 그의 남은 생을 지배했고, 1900년 이후 그는 할레의 신경 정신 병원(Nervenklinik)에서 긴 시간을 보냈으며 1902-03년, 1904-05년, 1907-08년 겨울에는 강의를 쉬기도 했다. 그는 영국 왕립 학회의 코플리 메달(Copley Medal)을 수상했고 세인트앤드루스 대학교에서 명예 학위를 받았으며, 1911년 대학 500주년을 맞아 그곳을 방문하기도 했다. 그는 1918년 1월 6일 할레에서 심장마비로 사망했다.

게오르크가 천재로 불리는 이유

힐베르트가 직접 그 말을 사용했는데, 칸토어의 작업을 "수학적 천재의 가장 훌륭한 산물이자 순수 지적 인간 활동의 가장 위대한 성취 중 하나"라고 불렀다. 그 구체적인 자질은 직관보다 정의를 신뢰하려는 의지였다. 그 이전의 모든 사람은 무한을 양이 아니라 방향으로 취급했다. 칸토어는 크기의 동일성에 대한 기준(정확한 짝짓기)을 제시하고 이를 주저 없이 무한 집합에 적용했으며, 자신이 믿을 수 없는 결론에 이르더라도 논리가 이끄는 곳이면 어디든 따라갔다. "나는 그것을 보지만, 믿을 수가 없다"는 말은 자신의 논리에 끌려가면서도 어쨌든 나아가는 사람의 문장이다.

반대 사례도 언급할 가치가 있다. 그는 연속체 가설을 해결하지 못했고, 실수들을 찾아내기 전까지는 양쪽 방향으로 스스로를 반복해서 납득시켰는데, 이는 문제의 깊이뿐만 아니라 그의 판단력에 대해서도 생각하게 한다. 괴델(Gödel)과 코언(Cohen)은 결국 이 가설이 표준 공리와 독립적임을 보여주었으므로, 그가 30년 동안 쫓던 것은 잡을 수 없는 것이었다. 그가 구축한 것도 미완성이고 불일치했다. 그는 자신의 시스템에서 역설을 발견했고, 집합론을 안전하게 만들기 위해서는 체르멜로(Zermelo)의 공리화와 이후 프렝켈(Fraenkel), 폰 노이만(von Neumann)의 작업이 필요했다. 초한수가 신에게서 왔다는 그의 확신, 바티칸에 대한 로비, 베이컨주의 소책자들은 항상 잘 조정된 것은 아니었던 확신을 보여준다. 그리고 그는 자신이 원했던 명망 있는 교수직을 얻지 못하고 할레에서 40년을 보냈다.

유산

집합론은 '수학 원리(Principia Mathematica)'부터 오늘날까지 수학자들이 사용하는 체르멜로-프렝켈 공리(Zermelo–Fraenkel axioms)에 이르기까지 현대 수학이 기반을 둔 토대가 되었다. 힐베르트의 헌사가 남았다. "누구도 칸토어가 창조한 낙원에서 우리를 쫓아낼 수 없다."