수학은 엄밀한 논리전개를 중요시하는 것으로 유명합니다. 다른 학문 분야도 객관성을 중요시하고, 수학만큼 엄밀한 학문분야도 많이 있겠지만 아무래도 수학이 엄밀함의 마스코트 같은 역할을 하는 것은 사실이지요.

저는 대학교에서 수학을 전공했는데, 한때 이 엄밀함을 과도하게 추구하여 바보같은 짓을 한다고 여길 때가 있었습니다.

대수적 위상수학 과목을 수강할 때의 일입니다. 학기 초에 원(x^2+y^2=1)의 기본군(fundamental group)이란 것을 계산하는 과정을 배웠습니다. 간단히 설명하면 원의 기본군은 정수집합 Z가 되고, +1은 시계 방향으로 원을 한 바퀴 감는 것에 해당, -1은 반시계 방향으로 감는 것에 해당한다는 것인데요. 예를 들면 시계 방향으로 세 바퀴 감고 반 시계로 다섯 바퀴 감으면 이는 정수 3-5 = -2 에 대응되는 것이지요

기본군의 정의는 조금 더 복잡합니다만 여기서 중요한 내용은 아닌 거 같고, 어쨌든 이걸 증명하기 위해 학기 첫 2주 가까이 덮개 공간(covering space)이니 뭐니 해서 아주 난리법석을 피웠습니다. 내용도 어려워서 겨우겨우 따라가다가 어느 날 "원의 기본군은 Z와 동형이다"라는 것 까지 증명을 배우고 집에 와서 생각하는데, "이거 그냥 원을 어떻게 감느냐만 세면 되는거잖아?"라는 생각이 들면서 허무감이 몰려왔습니다.

이 사건을 계기로 수학적 엄밀함이 추구하는 바가 무엇인지에 대해서 생각을 많이 했던 것 같습니다. 그때는 이 과목이 너무 어려워서 수학적 엄밀함이란 그냥 나를 고문하기 위한 것이 아닌가 싶었는데... 시간이 지나니 생각이 많이 바뀌었네요. 여러분에게도 그 생각을 공유해볼까 하여 글을 쓰게 되었습니다.


#2
조금 더 캐주얼한 예제로 시작해보는 게 좋겠습니다.



평면(=R^2)상에 끈이 놓여져있습니다. 이 끈이 원점 0(그림에서 i라고 생각하셔도 무방)는 지나지 않는다고 가정해보겠습니다. 이제 이 평면에서 원점을 제거한 집합을 U=R^2-{0}라고 하겠습니다. 우리의 끈은 U 안에 놓여있습니다.

여기서 우리는 한 가지 게임을 합니다. 이것을 "끈 넘기기 게임"에 이라고 부르겠습니다. 목적은 끈을 원점의 반대편으로 넘기는 것입니다. 규칙은

1. 끈의 양 끝(그림에서 a와 -a)은 절대 움직일 수 없음
2. 끈의 신축성은 무한함
3. 끈을 절단하거나 붙일 수 없음
4. 끈을 움직이는 중간과정에서 끈은 언제나 U 안에 속해있어야함. 즉, 끈은 원점을 통과할 수 없으며 평면에서 수직 방향으로 떼어내는 것도 불가능함.

(댓글 중 Hide_D 님의  "점프하지 않고 줄넘기"가 좋은 비유 같습니다.)

직관적으로 우리는 이 규칙하에 끈을 원점 반대편으로 넘길 수 없음을 압니다. 당연히 수학적으로도 증명 가능한 사실입니다.

하지만, 끈을 원점 반대편으로 넘기려면 "당연히 원점을 지나야 하므로"  끈 넘기기 게임은 클리어 불가능하다고 주장하는 것은 엄밀한 논증이 아닙니다. 단순히 평어로 써진 서술이라서 엄밀성이 떨어진다고 말하는 것이 아닙니다. 실제로 끈이 반대편으로 넘어갈 수 없는 이유로 "원점을 지나야 함"이라고 말하는 것에 논리적 비약이 있기 때문입니다.

#3
더 들어가기에 앞서, 제가 아는 바 수학과에서 가장 빠르게 배우는 이론으로 전개할 수 있는 증명을 간략히 소개해드리고자 합니다. (더 기초적인 방법을 아시는 분은 알려주세요!)

이는 복소함수론에서 contour integration(외곽적분?)이라는 방법을 사용합니다. 이른 바 "homotopy invariance of contour integration"라고 불리우는 정리를 사용하는 것인데요 간략히 설명하면 다음과 같습니다.

먼저 homotopy(*비직관적 용어이므로 앞으로 "연속변형관계"라고 부르겠습니다. 이는 학술적 용어는 아닙니다)에 대해 설명드리겠습니다. 양 끝 점이 같은 두개의 끈이 있습니다. 이 중 하나의 끈이 위에서 언급한 1,2,3,4의 규칙을 통해 나머지 하나의 끈으로로 변형될 수 있으면 두 끈을 "연속변형관계"에 있다고 부릅니다.

"homotopy invariance of contour integration" 정리는 다음을 말합니다.

"어떤 성질이 좋은 복소함수 f:U->C가 있을 때 (대충 얼버무렸습니다만, 정확히는 f가 U위에서 holomorphic하다는 조건입니다) 서로 연속변형관계에 있는 두 끈을 따라서 f를 적분한 결과값은 서로 같다."

이후 U를 복소평면의 부분집합으로 간주하고, 함수 f를 복소수 z에 대해 f(z)=1/z로 정의합니다.(U가 원점이 빠진 집합이라 z=0에서 정의가 불가능함을 우려하지 않아도 된다는 것이 핵심입니다)

그리고 원점을 둘러싼 원을 하나 생각한 후 원을 위쪽 반원과 아래쪽 반원으로 나누어 두 개의 끈을 정의합니다. 그리고나서 각각의 끈을 따라서 f를 적분한 결과값을 계산해보면 실제로 다른 값이 나오게 됩니다.

만약 위쪽 반원과 아래쪽 반원이 U 안에서 "연속변형관계"에 있다고 가정하면 f를 적분한 결과값은 homotopy invariance정리에 따라 같아야 합니다. 하지만, 다른 값이 나왔기 때문에 위쪽 반원과 아래쪽 반원은 U 안에서 "연속변형관계"에 있지 않다는 결론(=즉, 끈 넘기기 게임은 클리어 불가능하다는 결론)이 납니다.

이것이 제가 아는 바 수학에서 가장 기초적 지식만을 활용해 증명하는 방법입니다.

느낌이 어떠신가요? 처음 증명을 보았을 때 제 솔직한 인상은 "쉬운 것을 이악물고 돌아돌아가서 엄밀한 척 한다"는 것이었습니다. 왜냐하면 저도 "원점을 못 지나니 끈을 반대편으로 넘길 수 없다"고 생각했었으니까요. 이 관찰을 수학적 언어로 잘 정제하면 증명이 될 거라고 생각했고(실제로 이 방향으로 증명을 여러차례 시도하기도 했습니다), 이런 괴상한 방법을 쓰는 이유를 이해할 수 없었습니다.