논리와 결정 불가능성

지난 20세기에 괴델(Kurt Gödel)이라는 천재적인 수학자가 있었습니다. 불완전성 정리(incompleteness theorem)로 매우 유명하지요. 당시 수학자들은 하나의 논리체계로 완벽한 수학적 구조를 완성하겠다는 궁극적 꿈을 가지고 있었습니다. 이는 20세기의 최고의 수학자라 할 수 있는 힐버트(David Hilbert - 힐버트 공간으로 유명하고 양자역학 및 상대성이론의 수학적 구조로도 뛰어난 업적을 남긴) - 가 천명하였지요. 그런데 당시에는 알려지지 않은 괴델이 이러한 꿈을 무참하게 짓밟았습니다. 수학적인 구조는 무한히 많은 수준이 있는데, 그 중 하나의 수준에서 모든 진리를 하나의 체계에 담을 수 없다는 사실을 증명했지요. 말하자면 수학이란 근본적으로 불완전할 수밖에 없음을 보였고, 수학자의 자존심에 커다란 타격을 주었습니다. 괴델은 워낙 기이한 사람이라서 젊은 나이에 희한하게 타계했어요. 정확하게는 굶어 죽었습니다. [이보다 앞서 20세기 초에 활동했던 라마누잔(Srinivasa Ramanujan)과 더불어 수학자의 '천재성', 그리고 '기이함' 또는 '괴팍함'이란 무엇인지 여실히 보여주었네요.]

불완전성 정리를 간단히 설명해보지요. 임의의 형식논리 체계에는 그 안에서 증명할 수 없는 명제가 반드시 존재합니다. 이 명제는 그 체계를 포함하는 한 차원 높은 상위체계에서만 증명할 수 있습니다. 그래서 상위체계로 가면 또 그 체계에서 증명할 수 없는 명제가 있고 그것을 증명하려면 다시 한 차원 높은 상위체계로 가야 하고, 이러한 현상이 되풀이되어 영원히 끝나지 않는다는 것입니다. 닫혀져서 완전한 체계를 만들 수 없음을 증명하였지요.

결국 형식논리 체계는 자멸할 수밖에 없다, 스스로 독자적으로 생존할 수 없다는 것입니다. 그래서 앞서 언급했던 러셀은 이런 말을 했습니다. "수학이란 우리가 무엇을 말하고 있는지 알 수 없고, 사실인지 아닌지도 알 수 없는 그런 것이다." 수학이란 워낙 어려워서 한심한 것이라고 표현한 듯합니다.

▲ 그림 4: 마가리트, ≪두 개의 수수께끼≫

그림 4는 마그리트가 그린 ≪두 개의 수수께끼(Two Mysteries)≫입니다. 그림에는 담뱃대가 있고 캔버스(canvas)가 놓여 있습니다. 그 캔버스에 담뱃대가 그려져 있고 독일어로 "이것은 담뱃대가 아니다" 라고 쓰여 있습니다. 담뱃대가 아니라 단지 그림일 뿐이라는 거지요. 사실 캔버스의 그림은 물감 덩어리일 뿐이고 실제 담뱃대와는 아무런 관련이 없습니다. 그러니까 실제 담뱃대가 있고 캔버스에 그려진 담뱃대 그림이 있는데 이것을 두 개의 수수께끼라고 불렀습니다. 그런데 문제는 그림 4에 있는 '실제' 담뱃대도 실제 담뱃대는 아닙니다. 역시 그림일 뿐입니다. 캔버스에 그려진 담뱃대와 마찬가지로 물감 덩어리, 아니 더 정확하게 우리는 물감이 아니라 갈색 파길이에 해당하는 빛알을 감지하고 있는 것입니다. 그런데 이렇게까지 가면 실제 담뱃대에서 나오는 빛알이나 그림에 그려진 담뱃대에서 나오는 빛알이나 같은 빛알을 보는 것이므로 결국 모두가 마찬가지라고 할 수도 있지만 마그리트는 그것까지는 생각하지 못한 것 같네요.

우리의 믿음 또는 희망

이렇게 보면 인간의 지성이라는 것이 비참해 보입니다. 할 수 있는 것이 없습니다. 형식논리 체계는 자멸할 수밖에 없다니 완전한 논리 체계로 무장한 지성이란 불가능하다는 거지요. 그래도 우리는 믿음과 희망을 갖고 있습니다. 인간의 지성은 완전히 형식논리로 형식화할 수 없고 따라서 형식화되지 않은 메타 수준, 즉 한 단계 위의 추론을 할 수 있으므로 그것을 통해서 새로운 논증의 원리를 끝없이 만들어낼 수 있다고 전제하지요. 이러한 믿음을 통해서 지성에 대해 희망을 가질 수 있습니다.

다시 말해서 인간의 두뇌가 셈틀보다는 우월하다, 곧 셈틀에는 없고 인간 지성만 지닌 특별한 능력이 있다는 것입니다. 다시 말해 형식 연산(논리)보다 창조적 지성(상상력)이 우위에 있다고 전제합니다. 이를 전제하지 않는다면 아무런 창조를 할 수 없지요. 이와 관련해서 "지식보다 상상력이 중요하다"는 아인슈타인의 말이 다시 생각나네요. 인간과 셈틀의 차이가 여기에 있고, 지금까지 자연의 해석, 곧 과학이 발전해 온 과정을 보면 이것이 실제로 타당하다고 여겨집니다.

메타 수준이라는 용어를 썼는데, 우리는 자신이 존재하지 않는 상황을 어떻게 이해할 수 있을까요? 여러분이나 나나 조금의 차이일 뿐 언젠가는 모두 죽어야 합니다. 별로 생각하고 싶지 않고 조금 끔찍한 사실이지요. 그런데 내가 죽어서 없어지더라도 하늘은 똑같이 파랗고 바람은 불고 별도 반짝이며 여러분 역시 즐겁게 살겠지요. 참기 힘들다고 말하는 사람도 있습니다. 내가 죽으면 모두 슬퍼해야 하는데 실제로는 별로 관심도 없고 일상은 똑같다는 거죠. 그런데 우리가 자신이 죽은 다음을 어떻게 생각할 수 있을까요?자신은 죽어서 없는데 그 상황을 어떻게 이해할 수 있을까요? 내가 죽어도 변함없이 해는 동에서 뜨고 바람이 불고 여러분도 즐겁게 살 거라고 했지요. 그런데 내가 죽은 적이 없는데 무슨 근거로 이렇게 말할 수 있을까요?

글쎄요, 아마도 잠깐 나를 벗어나서 다른 사람이 되어 보는 것이겠지요. 어떤 분이 돌아가신 경우를 보니, 남은 사람들이 돌아가신 날은 슬퍼했지만 하루 이틀 지나자 크게 변함없이 살더라는 겁니다. 이러한 경험으로 미루어 생각하는 것입니다. 물론 여기서는 다른 사람의 관점도 결국 우리 마음에 투영해서 생각하므로 한 단계 높은 메타 수준에서 보는 것은 아니지요.

우주와 나는 하나고, 나 자신이 독립적으로 존재하지 않는다면 도가철학의 느낌이 들지요. 한편 관측하는 주체(관측자)와 관측되는 객체(대상)를 분리할 수 없음은 양자역학의 측정 문제에서 가장 중요한 요소입니다. 이 때문에 현대물리학은 도가철학을 비롯한 동양사상과 같은 관점이라고 주장하는 사람들이 있습니다. 그러나 이는 대체로 피상적인 유사성인 경우가 많고 본질에서 깊은 의미가 있다고 보기는 어렵습니다.

▲ 그림 5: 마그리트, ≪인간의 조건≫

그림 5는 마그리트의 작품 ≪인간의 조건(The Human Condition)≫입니다. 창가에 캔버스가 있는데 창을 통해 본 바깥 경치가 그대로 그려져 있습니다. 어느 것이 실제 바깥이고 어느 것이 캔버스에 그려진 그림인지 알 수 없게 되어 있습니다. 마그리트는 희한한 그림을 많이 그렸죠. 어디가 하늘이고 어디가 캔버스일까요? 혹시 앞서 언급한 김민기 선배의 작품인 ≪친구≫라는 노래 아는 학생 있어요? "검푸른 바닷가에 비가 내리면 어디가 하늘이고 어디가 물이요……." 비가 많이 내리는 날 수평선을 보면 어디까지가 하늘이고 어디부터 바다인지 구분하기 어렵지요.

나비가 되어 날아 다니던 꿈 이야기는 유명하지요. ≪장자≫에 나오던가요? 우리의 인식이란 뭔가? 상상력 없이 스스로 닫힌 순수한 논리적 추론만으로는 - 순수주의(purism)라면 지나친 비약인가요 - 진정한 창조를 할 수 없습니다. 한 단계 위에서 성찰해볼 필요가 있습니다.

* 이 연재기사는 지난 2008년 12월 '최무영 교수의 물리학 강의'라는 제목의 책으로(책갈피 출판사) 출판되었습니다