특집(임경순)

양자 역학의 형성과 학문적 스타일의 문제
-막스 플랑크, 닐스 보어, 막스 보른, 파울리,하이젠베르크를 중심으로-

임 경 순

20세기 초 물리학의 혁명적인 변혁이었던 양자역학의 형성에는 당대의 수많은 천재적 과학자들이 관계했다. 막스 플랑크(Max Planck, 18581947), 아인슈타인(Albert Einstein, 18791955), 닐스 보어(Niels Bohr, 18851962), 베르너 하이젠베르크(Werner Heisenberg, 19011976), 볼프강 파울리(Wolfgang Pauli, 19001958), 에드빈 슈뢰딩거(Edwin Schrdinger, 18871961), 드 브로이(Louis de Broglie, 1892 1987), 막스 보른(Max Born, 18821970), 프랑크(James Franck, 18821964), 요르단(Pascual Jordan, 19021980) 등등 물리학의 혁명을 이끌었던 이들의 이름은 우리가 현재 물리학 교과서에서 흔히 접할 수 있다.

상대성 이론은 아인슈타인이라는 한 개인에 의해 주도된 측면이 강한 반면에, 양자역학은 한 개인에 의해 성립되었다기보다는 수많은 과학자들이 서로 영향을 주고받으며 이룩한 공동 작품의 성격이 강하다. 또한 양자역학의 성립에 공헌을 했던 개개인들을 살펴보면 그들이 하이젠베르크의 불확정성원리나 닐스 보어의 상보성원리로 귀착되는 코펜하겐의 해석이라는 정해진 목표를 향해서 단순히 상호협조만 하면서 자신들의 역할을 수행한 것만은 아니라는 것을 알 수 있다. 즉 결과적으로는 그들이 비결정론적인 양자역학적 세계관이라고 하는 새로운 물리적 세계관에 대한 합의에 도달했지만, 각 개인은 그 진행과정에서 서로 상반된 견해를 피력했고, 따라서 양자역학의 성립 과정에 있어서 그 기여방식도 서로 달랐다.

본 논문에서는 양자물리학의 형성에 중요한 기여를 했던 막스 플랑크, 닐스 보어, 막스 보른, 볼프강 파울리, 베르너 하이젠베르크 등 5인의 물리학자를 중심으로 그들의 새로운 물리학을 보는 견해의 차이가 양자역학의 형성에 있어서 어떤 역할을 했으며, 양자역학의 발전 과정을 어떤 형태로 이끌어 갔는가에 대해서 다각도로 살펴보고자 한다. 특히 서로 상이한 학문적인 배경으로 인하여 다양한 방식으로 형성되었던 그들의 학문적 스타일의 차이가 양자역학의 형성에 어떻게 다른 형식으로 기여하였는가에 대해서 다양한 측면에서 살펴볼 것이다. 위 5인의 과학자의 학문적 특성을 살펴보기 위해서 그들이 학문세계에서 어떻게 성장했는지 대해서 간략하게 알아보자.

혁명을 원하지 않았던 보수주의자: 막스 플랑크

양자물리학은 1900년 막스 플랑크가 흑체 복사 문제를 해결하기 위해 제기한 양자가설로부터 시작되었다고 할 수 있다. 1900년 12월 14일 당시 베를린 대학의 물리학 교수였던 플랑크는 독일 물리학회에서 흑체에서 나오는 복사 에너지가 특정한 상수의 정수배가 되어야 한다는 주장을 제기했다. 막스 플랑크 본인은 자신의 주장이 지니는 의미를 완전하게 의식하지는 못했지만, 이것은 결과적으로 20세기에 나타나게 될 새로운 현대물리학의 시발점을 알리는 신호탄이 되었던 것이다.

막스 플랑크는 1858년 4월 23일 북부 독일의 항구 도시인 킬에서 태어났다. 그의 집안은 대대로 목사, 학자, 법률가들을 많이 배출했는데, 막스 플랑크는 이런 보수적인 분위기에서 어린 시절을 보냈다. 플랑크는 물리학의 혁명을 이끌었던 다른 과학자들과는 달리 그리 천재적인 인물은 아니었다. 뮌헨의 막스밀리안 김나지움을 다니던 학창 시절 그의 석차는 대체적으로 상위권이었으나 한번도 전체에서 수석을 한 적은 없었다고 한다. 즉, 어학, 수학, 역사, 음악 등 모든 과목을 고루 잘했으며 부지런하고 성실했으나, 천재적인 재능이나 타고난 적성을 지니지는 못했다. 대신 그는 프로이센을 대표하는 보수적 집안의 출신답게 사회에 대한 책임감이 강했으며, 그 자신도 어느 의미에서는 대기만성형의 인물이었다.

1874/75 겨울 학기부터 뮌헨대학 철학부에서 공부를 시작한 플랑크는 1878년부터 대학을 옮겨 베를린의 헤르만 폰 헬름홀츠(Hermann von Helmholtz, 18211894)와 구스타프 키르히호프(Gustav Kirchhoff, 18241887) 밑에서 배웠고, 1879년 6월 '열역학의 제2 법칙에 관하여'라는 제목의 논문으로 최우수 성적(summa cum laude)으로 뮌헨 대학에서 박사학위를 받았다. 그 뒤 그는 1880년 6월 뮌헨 대학에서 교수자격 논문을 통과해서 그 곳에서 사강사로 생활하다가, 1885년에는 고향인 킬 대학 수리물리학 부교수, 1889년에는 키르히호프 후임으로 베를린 대학의 부교수가 되었다가 마침내 1892년 베를린 대학 정교수로 자리잡게 된다. 바로 이곳에서 플랑크는 자기 생애의 최대의 업적인 흑체 복사 이론을 완성했던 것이다.

양자론은 연속적인 자연 기술을 바탕으로 하고 있었던 고전전자기학과, 원자론적이며 띄엄띄엄한 양을 바탕으로 하고 있었던 통계역학 사이의 불일치를 해결하는 과정에서 나왔다고 할 수 있다. 즉 양자론은 고전전자기학과 통계역학 사이에 내재하고 있었던 문제를 통일하는 과정에서 나타났던 것이다. 양자론에서 보여주었던 것처럼 자연에 대한 통일적 이해를 추구했던 플랑크의 학문적 태도는 플랑크가 자랐던 당시 독일의 시대적 상황과 밀접하게 연결되어 있었다. 플랑크는 독일이 통일되는 모습을 보면서 성장했고, 물리 세계에서 통일을 추구했던 그의 양자론은 독일 제국의 통일 이념과 서로 연결을 맺고 있었던 것이다.

통일 독일에 걸맞는 표준을 정하는 노력은 양자론의 출현을 낳는 배경으로 작용했다. 19세기말 독일의 조명산업에서는 전등의 필라멘트에서 방출되는 스펙트럼의 가시 영역과 비가시 영역에 대한 보다 넓은 지식을 필요로 했다. 이런 산업계의 요구에 부응해서 과학기술계에서 표준을 정하는 임무를 맡았던 제국물리기술연구소(Physikalisch-Technische Reichsanstalt)에서 일하던 빌헬름 빈, 오토 룸머, 페르디난트 쿠를바움, 하인리히 루벤스 등과 같은 당대의 유능한 실험물리학자들은 복사현상에 대한 면밀한 실험을 행했다. 플랑크가 1900년에 제기한 새로운 복사 법칙은 자신의 이론적 작업을 이런 실험적 결과에 부합되게 만드는 과정에서 등장한 것이었다. 플랑크는 1900년 10월 당시에 경험적으로 얻어진 빈의 복사 법칙의 문제점을 극복하고 그 때까지 있었던 모든 실험적 사실도 설명할 수 있는 새로운 복사식을 제안했다. 두 달 뒤인 1900년 12월 14일 막스 플랑크는 독일 물리학회에서 에너지 양자가 진동수에 비례한다는 ε＝hν라는 새로운 양자 가설을 얻어내게 되었는데, 바로 이것으로 고전물리학과는 다른 새로운 양자론은 시작되게 되었던 것이다.

막스 플랑크에 의해서 제안된 흑체 복사 이론은 고전물리학과 대별되는 새로운 양자론의 탄생을 알리는 출발점이었지만, 보수적 성향이 강했던 플랑크 자신에게 이 변혁은 원하지 않았던 선택이었다. 막스 플랑크의 논문에 나타나는 식으로서 에너지가 플랑크 상수와 빛의 진동수의 정수 배로 표시되는 것은 사실 1, 2, 3, 4라는 식의 정수배 뿐만이 아니라 1.5, 2.5, 3.5 등의 구간의 의미로 해석할 수도 있는 것이었다. 실제로 1906년 이후에 나타난 플랑크의 저작을 보면 플랑크가 바로 이런 시도를 하고 있는 것으로 추정되는 흔적을 볼 수 있다. 플랑크가 사용한 자신의 논문에서 사용한 방법으로 훗날의 보즈-아인슈타인 통계에 해당하는 통계적 방법은 사실 당시의 기준으로 보면 아주 애매한 것이었다. 우선 미국의 깁스(J. W. Gibbs, 18391903)가 다루었던 에너지 등분배 법칙(equipartition law)은 1902년 이후에나 과학자들 사이에서 분명하게 인식되었다. 따라서 에너지 등분배 법칙이 분명하게 확립되지 않은 상태에서 플랑크가 사용했던 통계적 방법은 현재 우리가 알고 있는 것과 완전히 동일한 것이라고는 하기 어렵다. 바로 이런 점에서 플랑크는 새로운 양자물리학의 포문을 연 선구자임에도 불구하고 태생적으로 보수적인 한계를 드러내고 있었다.

보수적인 개혁 뒤에 마침내 아주 혁명적인 새로운 시도가 등장했다. 1905년과 1906년 아인슈타인은 광전 효과를 설명하기 위해서 빛을 입자로 보고 복사 현상을 설명하는 광양자 가설을 제기했다. 아인슈타인은 플랑크와는 달리 처음부터 빛을 입자로 보고 자신의 논의를 전개했다. 또한 아인슈타인의 논문은 후일 고전적인 입자에 적용되는 맥스웰-볼츠만 통계와 빛과 같은 양자역학적인 입자에 적용되는 보즈-아인슈타인 통계로 분명히 구분될 수 있는 통계역학적인 논의를 바탕으로 한 것이었으며, 볼츠만 통계와 구분이 애매했던 플랑크의 통계학적 논의와는 분명히 구별이 되는 것이었다. 즉, 플랑크가 사용한 정수배라는 의미는 구간의 의미로도 해석될 수 있는 여지가 있었고, 반드시 에너지의 불연속성을 가정하지는 않아도 되었지만, 아인슈타인의 광양자는 분명히 불연속적인 에너지의 존재를 전제로 한 것이었다. 이처럼 아인슈타인의 광양자 가설과 플랑크의 작용 양자 개념의 차이를 비교해보면 플랑크 개혁의 보수성에 대해 분명히 알 수 있다.

양자론의 창시자인 막스 플랑크 자신은 양자가설이 물리학 분야 내에서 이론적인 혁명으로 발전하는 것을 바라지 않았다. 즉 20세기 초 현대물리학 분야에서 나타난 혁명적 변화는 정작 이를 촉발시켰던 막스 플랑크 자신은 원하지 않았던 혁명이었다. 플랑크는 아주 보수적인 인물로서 본래 고전 물리학을 거부할 의사가 추호도 없었던 사람이었다. 플랑크의 작용 양자에 관한 논의에서는 오늘날 우리가 보기에는 중요하고 핵심적인 것으로 받아들이고 있는 에너지 불연속 개념은 그리 중요한 개념이 아니었다. 당시에 플랑크 자신에게 있어서는 볼츠만의 통계역학과 고전 전자기학을 동시에 만족하는 통일되고 체계적인 자연법칙을 유도하는 것이 양자 불연속 개념보다도 더욱 중요한 위치를 차지하고 있었다. 따라서 플랑크가 흑체복사의 에너지가 정수배로 변화한다는 중대한 가정을 처음으로 자신의 논문에서 쓰고는 있었지만, 그 자신은 빛이 바로 입자라는 생각에 대해서는 심한 저항감을 가지고 있었다. 이런 이유 때문에 플랑크는 아인슈타인의 상대성 이론은 높이 평가했지만, 정작 자신의 업적과 관련이 있었던 아인슈타인의 광양자 가설에 대해서는 깊은 회의를 나타냈던 것이다. 더욱이 고전 양자론의 시작을 알렸던 플랑크는 양자론의 발전과정에서 나온 마지막 산물인 양자역학의 철학적 해석인 비결정론에 대해서도 아인슈타인과 마찬가지로 죽을 때까지 받아들이지 않았다.

전통과 혁신 사이의 갈등: 닐스 보어

1913년 닐스 보어(Niels Bohr)는 새로운 원자모형을 제안해서 빛의 복사에 관한 이론이었던 양자론을 원자모형 문제와 연결시켰다. 닐스 보어는 수소의 스펙트럼선에 관한 놀라운 주기적 법칙인 발머계열에 관한 식이 나타난 해인 1885년 10월 7일 덴마크의 수도 코펜하겐에서 태어났다. 코펜하겐에서 성장한 보어는 이곳에서 당시 문제가 되고 있었던 금속내의 전자이론에 대해서 석사논문을 시작했고, 이것을 확대해서 1911년 자신의 박사논문을 완성했다. 이 연구에서 보어는 금속 내의 전자 이론을 확립하는 것은 당시 맥스웰과 로렌츠에 의해서 대표되었던 고전전자기학만으로는 불충분하다는 것을 느꼈다.

그 해 보어는 전자의 발견자로 알려져 있는 J.J. 톰슨과 물리학에 대해서 토론해 보기 위해서 박사후 연구원으로 케임브리지의 캐번디시 연구소로 갔다. 그러나 보어의 서투른 영어 실력과 톰슨의 무관심으로 인하여 보어는 톰슨과 함께 연구를 하고 싶은 자신의 소망을 이룰 수 없게 되었고, 할 수 없이 맨체스터로 옮겨 그 곳에 있던 러더퍼드와 함께 연구를 하게 되었다. 이것이 인연이 되어서 1913년 보어는 러더퍼드의 새로운 원자모형과 아인슈타인의 광양자 가설, 그리고 선스펙트럼에 관한 발머 계열식 등을 이용하여 자신의 원자모형을 제안하게 됐던 것이다.

톰슨의 원자모형에 대한 보어의 부정에도 불구하고, 보어의 원자모형은 기본적으로 톰슨의 연구계획과 밀접한 연관을 가지고 있었다. 당시 톰슨은 멘델리예프의 주기율표에 의해서 표현되는 화학원소의 주기적 성질에 관한 설명을 찾고 있었는데, 보어의 원자모형은 바로 이런 문제를 해결하기 위해 추구되었던 것이다. 톰슨의 열광적인 숭배자였던 보어는 화학원소의 주기율적 성질에 관한 설명을 얻기 위해 노력하던 중 1913년초에 우연히 발머 계열에 관한 식을 알게 되었고, 이것을 바탕으로 해서 매우 형식적이고도 실용적인 입장에서 원자 내의 전자들은 양자화된 특별한 에너지를 가진 궤도만을 허용한다는 것을 근간으로 하는 자신의 원자모형을 제안했던 것이다.

1913년 보어가 제기한 고전양자론에는 기본적으로는 고전 전자기학을 바탕으로 하면서도 양자 상태라는 완전히 새로운 개념이 서로 섞여 있었다. 새로운 양자론의 발달 과정에서 보어는 보수적인 성격과 혁명적인 성격을 동시에 지닌 복합적인 모습을 나타내고 있다. 보어의 초기 고전양자론은 전통과 혁신 사이를 왔다갔다했던 케플러와 같은 성격을 지녔다고 주장한 토머스 쿤의 견해는 바로 이런 측면을 반영한 것이다.

1920년을 전후하여 보어는 자신의 초기 원자론의 문제점을 개선하고 스펙트럼의 진동수 뿐만 아니라 그 세기에 대한 논의까지도 가능하게 하기 위하여 대응원리(Correspondence Principle)라는 새로운 사고틀을 제안했다. 대응원리란 미시적 세계를 기술하는 새로운 양자이론은 그 극한에 있어서 거시적 세계를 기술하는 기존의 고전역학과 일치한다는 것이었다. 이 대응원리는 과학자들에게 그때까지는 설명할 수 없었던 새로운 양자현상에 대한 가능한 설명을 찾아내는데 좋은 도구 역할을 했다. 하지만 이 원리는 항상 고전 역학과 염두에 두고 새로운 역학을 찾아야 한다는 분명한 한계점을 지니고 있었으며, 적용 범위도 제한적이지 못해 물리 이론으로서의 자격 여부도 불확실했다. 대응원리나 고전양자론 논의에서 볼 때 보어의 태도는 혁명적인 측면과 아울러 실용주의적인 측면을 보이고 있으며, 항상 고전역학을 염두에 두었다는 점에서 보수적인 측면을 동시에 가지고 있었다고 할 수 있다.

수학적 전통 속의 형식주의자: 막스 보른

막스 보른(Max Born)은 1882년 12월 11일 지금은 폴란드 영토이나 당시에는 독일 영토였던 브레스라우에서 태어났다. 그는 1900년부터 자신의 고향인 브레스라우에서 대학공부를 시작하였는데, 그 후 하이델베르크, 취리히 등을 옮겨다니며 공부하다가 마침내 1904년부터는 당시 세계 수학의 메카였던 괴팅겐에서 본격적으로 수학을 공부하게 되었다. 당시 괴팅겐에는 펠릭스 클라인, 힐베르트, 헤르만 민코프스키 등 당대의 쟁쟁한 수학자들이 교수로 재직하고 있었는데, 그들은 자신의 전문 분야인 수학 이외에도 수학을 물리학, 천문학, 지구과학 및 공학에 응용하는 데에도 깊은 관심을 가지고 있었다.

이런 분위기에서 보른은 처음에는 수학을 공부하였으나 박사학위를 받은 뒤로는 그 연구 분야를 바꾸어 본격적으로 이론 물리학을 연구했다. 이런 학문적 조건은 또 보른의 학문적 성향에도 커다란 영향을 미쳤다. 즉 괴팅겐의 수학적 전통 내에서 성장하면서 이 곳의 영향을 강하게 받은 보른은 될 수 있으면 경험적, 실험적 자료가 많은 물리학적 문제를 선택하여 수학적으로 아주 엄밀하고 일반적인 해를 구하는 수학적이고도 형식주의적인 자연기술을 선호했던 것이다. 예를 들어 당시 물리학 내에서 해결하기 어려웠던 광양자의 존재에 관한 문제를 설명하는 데 있어서 보른은 빛이 실제로 입자인가 아닌가 하는 문제와 같이 논쟁에 여지가 있는 문제는 의도적으로 피하고, 빛과 물질의 상호 작용에 관계되는 광범위한 실험적 사실을 어떻게 수학적으로 완벽하고 일반적으로 기술하느냐에 치중했던 것이다.

이러한 태도는 자칫하면 물리개념에 대한 그릇된 이해를 갖게 할 수도 있다는 약점이 있는 반면, 만약 문제 자체가 정확하게 설정되어 있을 경우에는 그 계획의 진전이 대단히 크다고 하는 장점도 있었다. 보른은 1909년 아인슈타인의 상대성이론에 대한 개념적 이해가 부족하여, 상대성 이론에 의하면 강체란 존재할 수 없다는 사실을 인식하지 못한 채로, 상대론적 강체 개념을 정의했다가 커다란 학문적 패배를 경험한 적이 있었다.

상대성 이론 분야에서 학문적 패배를 맛 본 보른은 1912년부터 자신의 연구 영역을 상대론 분야에서 고체 비열 분야로 바꾸면서 그 진가를 발휘하기 시작했다. 보른이 연구 분야를 상대성 이론에서 보체 비열 분야로 바꾼 이유는 상대론 분야가 자신의 역량에 비해 너무 어렵고 통상적인 물리학과 너무 동떨어져 있으며, 특히 관찰 자료가 너무 부족했기 때문이었다. 보른은 이후에도 수많은 관찰 자료가 존재하는 분야를 수학적으로 엄밀하게 다루는 학문적 스타일을 유지하게 되는데, 고체 비열, 광학, 고전양자론 분야는 보른의 이런 성격에 가장 부합되는 분야였다.

1921년 보른은 실험 물리학자이며 자신의 친구였던 프랑크와 함께 괴팅겐 대학 이론 물리학 교수가 되었다. 괴팅겐에서 보른은 파울리, 하이젠베르크, 노르트하임(Lothar Nordheim) 등 우수한 공동연구자들과 함께 푸앵카레와 보린(Petrus Theodor Bohlin, 18601939) 등에 의해서 개발된 천체 역학적 이론을 이용해서 보어의 원자론을 다전자 체계로 확장하는 프로그램을 정력적으로 추진했다. 보른은 파울리와는 세차운동에 의해 생기는 '고유 겹침'(intrinsic degeneracy)을, 하이젠베르크와는 전자들의 질량이 서로 같아 위상 관계가 생기는 '우연한 겹침'(accidental degeneracy)을, 노르트하임과는 수소 분자 등에서 장미꽃 형태의 괘도로 나타나는 '경계 겹침' (limiting degeneracy) 등을 체계적으로 연구했다. 다전자 체계에서 나타날 수 있는 모든 겹침 현상에 대한 면밀한 검토를 했던 이들의 연구 결과 헬륨이나 수소 분자의 에너지 값이 보어 원자론에 의해서 예측된 것으로는 설명할 수 없는 것으로 나타나 결과적으로 고전양자론의 한계를 결정적으로 밝히게 되었다. 그 뒤 보른의 프로그램에 참여했던 과학자들은 고전양자론이 아닌 새로운 역학체계를 모색하게 되었고, 이런 일련의 노력의 결과로 새로운 양자역학이 출현하게 되었던 것이다.

양자역학 출현 과정에서 보른의 역할은 행렬역학의 수학적 발전 과정에서 더욱 극명하게 드러난다. 1925년 여름 무렵 하이젠베르크는 자신의 새로운 역학 체계인 행렬역학의 기본적인 개념틀을 얻어냈다. 하지만 하이젠베르크는 자신이 이 역사적인 논문에서 사용한 상징적인 곱셈이 수학적으로는 행렬의 곱셈에 해당한다는 것을 의식하지 못했다. 즉 하이젠베르크는 행렬에 대한 지식이 전혀 없이 행렬역학의 기본적인 틀을 만들어내었던 것이다. 하이젠베르크의 생각을 행렬역학이라는 일반적인 역학체계로 발전시킨 사람은 수학적 전통 내에 있었던 막스 보른이었다. 보른은 하이젠베르크의 논문을 살펴본 후 하이젠베르크가 사용한 상징적 곱셈이 바로 자신이 대학시절부터 배워서 잘 알고 있었던 일종의 행렬곱셈이라는 것을 알아냈다. 양자역학에서 나오는 유명한 기본식인 pq－qp 이라는 수학적 표현을 최초로 얻어냈던 사람은 하이젠 베르크가 아니라 보른과 그의 학생이었던 요르단이었다.

보른은 하이젠베르크의 행렬역학의 수학적 기초를 더욱 깊게 고찰하여 오늘날 양자역학 교과서에 나오는 수많은 수학적 개념을 발전시켰다. 힐베르트 공간, 선형변환에 있어서의 주축 변환, 에르미트 행렬 등과 같은 수학적 개념은 바로 보른에 의해 행렬역학에 도입되었던 것이다. 결국 양자역학의 수학적 기초를 마련하는 데에는 괴팅겐의 수학적 전통 내에 있었던 보른의 역할이 컸다.

철저한 개념적 혁명을 요구했던 완벽주의자: 볼프강 파울리

1900년 4월 25일 오스트리아의 수도 빈에서 태어난 볼프강 파울리는 어릴 적부터 보기 드문 신동이었다. 그는 12세에 유클리드 기하학을 완전히 이해했으며, 14세에 오일러의 저작을 읽었고, 18세에는 난해하기로 정평이 있었던 푸앵카레의 천체역학에 탐닉했다. 1918년 10월 파울리가 뮌헨 대학에 들어갔을 때, 그는 이미 당시 완성된 지 얼마가 되지 않기 때문에 난해한 학문 분야로 알려져 있던 일반 상대론을 상당한 수준으로 연구할 능력을 갖추고 있었다.

그의 대학 스승인 좀머펠트는 당시 수리과학 백과사전의 물리학분야 편집인이었는데, 그 때 그는 상대론 분야를 체계적으로 소개할 집필인을 물색하고 있었다. 물론 상대론의 주창자인 아인슈타인이 가장 적격자였으나, 아인슈타인이 바쁘다는 이유로 거절하였기 때문에 다른 인물을 구해야만 했다. 당시 파울리는 대학 초년생으로서 상급학생들이나 신청하는 좀머펠트의 세미나에 참가했었다. 이때 전자기학과 중력이론의 문제를 게이지 이론을 이용하여 통합하였던 헤르만 바일(Hermann Weyl)의 통일장 이론을 날카롭게 비판했던 파울리를 본 좀머펠트는 선뜻 이 중요한 집필을 대학 초년생이었던 파울리에게 맡겼다. 파울리가 집필한 일반 상대성 이론에 대한 개론서는 그 뒤 단행본으로 출판되어 오랫동안 일반 상대성 이론에 대한 표준적인 교재로 활용되었다.

이렇게 어린 시절부터 상대성이론 분야에서 천재적인 능력을 인정받은 파울리는 상대론에 비해 비교적 많은 경험적 자료가 존재하고 있었으며 당시 많은 문제점을 내포하고 있었던 양자론 분야로 곧 관심분야를 옮겼다. 양자론을 연구하는 동안 파울리는 당시의 고전양자론을 구성하고 있던 많은 개념들이 여전히 기존의 고전역학적 개념을 포함하고 있는 것에 대해 무척 커다란 불만을 느꼈다. 그는 당시로서는 풀리지 않던 양자현상에 대한 문제를 해결하는데 유용한 개념적 도구였던 보어의 대응원리도 여전히 기존의 고전역학에 의존하고 있었기 때문에, 그 원리자체의 유용성에도 불구하고 그것이 새로운 양자론을 구성하는 중심 개념이라는 것에는 깊은 회의를 나타냈다. 그는 원자모형을 설명함에 있어서 가능한 한 모든 고전역학적 개념을 거부하였는데, 이런 특징을 강하게 부각시킨다면 어떤 의미에서 그는 새로운 양자론 형성에 있어서 철저한 개념적인 혁명을 요구하는 완벽주의자였다고 할 수 있다.

완화된 혁명론자: 하이젠베르크

하이젠베르크는 1901년 12월 5일 독일 뷔르츠부르크에서 태어났다. 그 후 1910년 고전어와 그리스 문헌학 선생이었던 그의 아버지가 뮌헨으로 자리를 옮기었기 때문에 그는 1911년 뮌헨의 막스밀리안 김나지움을 들어가게 되었다. 제1차 세계대전 중에 하이젠베르크의 아버지는 예비역 보병장교로 소집됐기 때문에 전쟁 중 거의 집을 떠나 있었다. 이렇게 하이젠베르크는 부모의 보살핌이 거의 없이 줄곳 혼자서 공부했다. 김나지움을 졸업할 때까지 그는 미적분학, 타원함수 등을 독학으로 배웠으며, 수론(Number Theory)에 관한 논문을 출판하려고까지 했다.

이렇게 기성세계로부터 단절됐던 것이 후일 하이젠베르크의 독창적인 사상의 출현에 큰 영향을 미쳤다. 제1차 세계대전 후 독일의 젊은이들은 패전 후 낙심에 차있던 구세대들을 불신하고, 자기들끼리 무리를 지어다니면서 크고 작은 공동체를 형성하고 자신들의 독자적인 새로운 길을 찾으려고 했다. 즉 구세대는 이미 부수어졌고 따라서 새로운 세계는 기성세대가 아닌 젊은 신세대에 의해서 찾아져야 한다고 생각했던 것이다. 하이젠베르크 자신도 당시의 청년운동에 지도자로서 적극적으로 참가했다. 이런 것을 고려한다면 자연과학적인 세계상의 변환과 당시의 사회적 현상 사이에는 일종의 사회심리학적인 교류가 존재했다는 추정을 할 수 있다.

1920년 하이젠베르크는 뮌헨대학에 입학했다. 뮌헨대학에서의 첫 학기 때부터 하이젠베르크는 사고에 있어서 대담성과 독창성을 발휘하기 시작했다. 1896년 제만(Pieter Zeeman)이 자기장 내에서 스펙트럼선의 분리현상을 발견한 이후 분광학적 기술이 계속 향상되어, 1920년경에는 수많은 관측자료가 쏟아져 나왔다. 이 가운데에서 가장 설명이 어려웠던 현상은 자기장에서 괘도각운동량과 오늘날 우리가 스핀각운동량이라고 부르는 양과의 커플링에 의해서 스펙트럼선이 복잡하게 갈라지는 이상제만효과(Anomalous Zeeman Effect)였다. 뮌헨대학에 입학한 하이젠베르크는 좀머펠트의 세미나에서 이 이상제만효과를 설명하기 위해서 ＋1/2, －1/2의 양자수를 도입했다. 이것은 양자수를 원자의 정상상태에서의 정상파와의 비유로 이해했던 좀머펠트에게는 아주 깜작 놀랄 일이었다. 즉 당시의 고전 양자론에서는 양자수가 1,2,3,4,...와 같은 정수만을 허용하였지 ＋1/2, －1/2과 같은 분수는 허용하지 않았기 때문이었다.

하이젠베르크의 친구였던 파울리는 만약 1/2이 양자수가 된다면 1/4, 1/8, 1/16도 똑같이 양자수가 되어야 한다고 주장하면서 그 주장의 문제점을 제기했다. 이에 대해서 하이젠베르크는 "성공은 수단을 신성화한다"고 응변하면서 자신의 방법의 정당성을 피력했다. 하이젠베르크가 1/2 양자수를 도입한 것은 그가 현대적인 의미의 스핀을 도입했다는 것을 의미하지는 않는다. 그는 이 1/2의 양자수의 원인을 전자의 자전이 아니라 원자핵 가까이에서 빠른 속도로 움직이는 궤도전자의 상대론적 효과에 의한 것으로 이해했기 때문이다. 이것을 하이젠베르크의 초기 중핵 모형(Core Model)이라고 부른다.

1920년 초부터 이상제만효과를 연구하던 란데(Alfred Land)는 당시의 실험적 사실에 대한 이론적 설명을 부여하기 위해 일종의 벡터 모형을 제안했었다. 그러나 란데의 이 모형에서는 고전역학적인 각운동량의 두곱인 S²이 양자론적으로는 S(S+1)라는 형태로 해석되어 모형을 취급하는 방식 자체가 기존의 고전역학으로부터 일탈하는 심각한 문제가 대두되기 시작했다. 이것은 후일 파울리의 배타원리와 하이젠베르크의 행렬역학이 완성된 뒤에야 비로소 완전히 설명될 수 있는 것으로서 당시로서는 해결하기 힘든 문제였다.

이러한 문제점에 대해서 파울리와 하이젠베르크는 서로 다른 반응을 보였다. 우선 파울리는 란데의 고전역학적인 벡터모델을 단호하게 거부하고 새로운 양자개념을 찾으려고 노력했다. 반면에 하이젠베르크는 자신의 중핵 모형(Core Model)과 보른이 제안했던 수학적인 차분방정식에 의해서 이것을 설명해보려고 노력했다. 하이젠베르크의 이 시도는 부분적인 성과만을 얻은 것이었고 결과적으로 실패작이었다.

하이젠베르크는 이상제만효과를 자신의 '중핵 모형'으로 설명하는 데 실패한 뒤, 가상진동자를 바탕으로 해서 새로운 운동학을 찾아내려고 노력했다. 파울리가 새로운 양자개념에 입각해 아주 정합적인 새로운 운동학적인 개념을 추구한 반면에, 하이젠베르크는 일단 고전전자기적인 가상진동자를 이용해 고전적인 운동방정식을 만든 다음 새로운 양자법칙을 얻어내기 위해 보어의 대응원리에 따라 기존역학 체계로부터의 의도적인 일탈을 모색했다. 이런 노력 끝에 그는 1925년 7월에 새로운 역학체계인 행렬역학의 기본 개념틀을 얻어냈던 것이다. 하이젠베르크는 자신도 대담한 방법에 의해서 기존의 고전양자론을 개선하려고는 했지만 파울리보다는 완화된 형태로 고전역학을 거부했으며, 행렬역학은 바로 하이젠베르크의 이런 태도에 의해 형성될 수 있었던 것이다.

배타원리의 출현과 파울리 완벽주의의 한계

고전역학적 개념을 철저히 거부한 파울리는 1925년 비정상제만효과를 란데의 벡터 모형으로 설명할 때 생기는 문제점을 해결하기 위해 고전역학적인 모형을 이용한 설명을 단호히 거부했다. 그 대안으로 그는 주양자수, 방위양자수, 자기양자수 외에 제4의 양자수를 가정함으로써 소위 파울리의 배타원리를 제창하게 된다. 각 전자는 동일한 양자상태에 있을 수 없다는 이 배타원리를 바탕으로 파울리는 고전역학적인 개념을 부분적으로 함유하고 있었던 보어의 고전양자론의 문제점을 완전히 제거하고, 새로운 양자상태 개념에 입각해서 원소의 주기율적 성질에 대한 완벽한 설명을 얻어냈던 것이다.

그러나 파울리가 1925년 초의 배타원리에 관한 그의 논문에서 현재 우리가 알고 있는 스핀 개념을 받아들인 것은 아니었다. 그는 자신의 제4의 양자수를 기계적이며 고전역학적인 모형으로 설명하는 것을 철저히 거부했다. 한 예로, 1925년 초 크로니히(R. Del Kronig)라는 한 젊은 물리학자가 파울리가 제안한 제4의 양자수를 전자의 스핀으로 해석할 수 있다는 내용을 파울리에게 말한 적이 있었다. 이 때 파울리는 크로니히의 견해가 기계적이고 고전역학적인 해석이며, 따라서 구시대적인 발상이라고 신랄하게 비판하였고, 이런 바람에 크로니히 자신은 그만 스핀가설에 관한 주장을 포기해 버리고 말았던 것이다. 결국 크로니히는 중대한 발견의 기회를 놓치고 말았다. 그뒤 잘 알려진 바와 같이 스핀 발견의 영광은 에렌페스트 밑에서 공부하던 윌렌벡(George Eugene Uhlenbeck)과 하우트스미트(Samuel Abraham Goudsmit)에게 돌아가 버렸다. 1928년 파울리는 미안한 마음에 크로니히를 자신의 조교로 받아들여 주었다. 배타원리의 등장이 파울리 식의 완벽주의의 승리였다고 한다면, 스핀 이야기는 파울리의 완벽주의가 빚어낸 대표적인 한계였다고 할 수 있다.

보어의 반동 쿠데타: 광양자 가설의 폐기

보어의 보수적인 속성은 1924년에 그가 아인슈타인의 광양자 가설을 비판하였다는 데에서도 잘 나타나고 있다. 당시 보어는 가상 진동자 개념을 바탕으로 해서 미시세계에서의 에너지와 운동량 보존법칙의 파기를 내세우며, 파동론에 입각한 복사이론을 부활하려고 시도한 적이 있었다. 가상 진동자(virtual oscillator) 개념이란 원자들이 가상적인 복사장을 통해 멀리 떨어져 있는 다른 가상적인 진동자들과 서로 교통(交通)하는 일련의 가상적인 진동자들로 구성되어 있다는 가설로 1924년 유럽에서 박사연구원으로 활동하던 미국의 과학자 슬레이터(John C. Slater)가 처음으로 제안했던 개념이었다. 이 가설에다가 미시세계에서 에너지와 운동량 보존법칙을 파기하는 보어 자신의 생각을 결합시켜, 보어, 클라머스(Hendrik A. Kramers), 슬레이터 세 사람이 공동으로 새로운 복사이론을 발표했던 것이다. 보어에 의하면 아인슈타인의 광양자 가설이 광전효과를 비롯한 많은 문제를 설명하는 데에는 좋은 개념적 도구이기는 하지만, 여전히 빛의 간섭이나 회절 현상을 설명할 때에는 파동론에 의해서 정의되는 진동수나 파장의 개념을 사용하고 있기 때문에 아직도 많은 문제가 있다는 것이다. 보어가 보기에는 1922/23년에 컴프턴(Arthur Holly Compton)과 드베이어(Peter Debye)에 의해서 발표된 전자에 대한 X-선 산란 실험, 즉 컴프턴 산란 실험도 아인슈타인의 광양자 가설을 확증하는 결정적 실험은 되지 못했다.

보어의 새로운 파동론적인 주장과 아인슈타인이 옹호하는 기존의 광양자 가설 가운데 어느 것이 타당한가를 확인하기 위해 베를린의 제국물리기술연구소에서 일하던 발터 보테(Walther Bothe)와 한스 가이거(Hans Geiger)는 기존의 전기계수법을 개량해서 창안해낸 새로운 측정 방법인 동시계수법을 이용해서 엄밀한 결정적 실험을 실시했다. 1925년 4월에 얻어낸 보테와 가이거의 실험 결과는 아인슈타인에게 승리를 안겨 주었다. 결국 아인슈타인의 광양자설은 1924년에 있었던 보어의 반동적인 쿠데타를 1925년 보테와 가이거가 실험적으로 반박하고, 곧 이어서 미국의 컴프턴이 사이먼(A.W. Simon)과 함께 구름상자를 이용해서 컴프턴 효과에 관한 실험을 다시 한번 더 확인함으로써 비로소 과학자들 사이에서 완전히 받아들여지게 되었던 것이다. 그 후 대부분의 과학자들은 아인슈타인의 광양자 가설에 대해 다시는 의심하지 않았으나, 보어는 그 후에도 이 광양자 가설의 유효성에 대해 계속 회의를 표명했다. 이런 일이 있은 뒤 보어는 1925년부터 그의 양자역학에 대한 철학적 견해인 상보성 원리가 나오게 되는 1927년까지 물리학적 저술 활동을 그만둔 채 철학적인 문제에 몰두했다. 양자역학에 대한 최종적인 해석으로 받아들여지게 될 상보성 원리는 보어의 이런 보수적 태도가 반영되어 형성된 것이었다.

절충적 혁명: 코펜하겐 해석의 출현

행렬역학이 완성되고 있는 때인 1926년 초 오스트리아 물리학자 슈뢰딩거는 파동역학이라는 새로운 역학을 완성시켰다. 새로운 파동역학을 전개하는 과정에서 슈뢰딩거는 자신의 파동함수의 제곱이 실제 전자의 밀도에 해당한다고 주장했다. 슈뢰딩거가 주장한 연속체적인 견해와는 반대로 프랑크와 그의 공동연구자들이 행한 여러 실험을 통해서 양자 비약을 실험적 사실로 믿고 있었던 막스 보른은 슈뢰딩거 방정식을 충돌과정을 설명하는 데 이용하면서 슈뢰딩거의 파동함수를 통계적이고 비인과적으로 해석했다. 즉, 슈뢰딩거의 파동함수의 제곱은 실제 전자의 밀도를 나타내는 것이 아니라, 전자가 다른 입자들과 서로 충돌해서 나타날 수 있는 가능한 상태, 즉 확률을 말해준다는 것이다.

그러나 보른의 통계적 해석은 충돌과정에서 나타나는 에너지에 국한된 지극히 수학적인 것이었지 입자의 위치와 운동량의 개념에까지 확대되는 해석은 아니었다. 수학적 형식주의자였던 막스 보른은 통계적 개념을 새로운 운동학적 개념틀로 확대 적용하는 데에는 일정한 한계가 있었다. 오늘날 물리교과서에 나오는 것과 같은 논의인, 전자의 위치 내지 운동량을 발견할 확률이라는 식의 운동학적인 개념은 실상은 파울리가 처음 제안했던 것이다. 새로운 양자론을 추구하는데 있어서 항상 새로운 운동학적인 개념을 세우기를 희망했던 파울리는 보른의 통계적 해석을 위치와 운동량의 개념에까지 확대시켰던 것이다.

행렬역학과 마찬가지로 하이젠베르크가 불확정성 원리를 창안하는 데에도 파울리는 커다란 역할을 한 것으로 여겨지고 있다. 하이젠베르크가 불확정성의 원리를 발표하기 몇 달 전인 1926년 10월 19일 파울리는 하이젠베르크에게 훗날 커다란 역사적 의미를 가지게 될 장문의 편지를 보냈다. 우선 이 편지에는 통계적 해석을 위치와 운동량의 개념으로 확대시키는 내용이 들어 있었다. 무엇보다도 이 편지에는 하이젠베르크의 불확정성 원리와 관계된 다음과 같은 내용이 담겨있었다. "우리는 운동량이라는 눈으로 세상을 볼 수 있고 위치라는 눈으로도 세상을 볼 수 있다. 그러나 이상하게도 운동량과 위치의 눈을 동시에 뜨면 틀리게 된다." 파울리는 위치 표현으로 양자역학을 기술하는 방법을 유도하고 이것을 변환시켜 운동량 표현으로 기술할 수 있음을 알아냈다. 그 다음 파울리는 완전히 새로운 개념의 동역학을 만들 생각으로 위치 표현과 운동량 표현을 동시에 적용하는 시도를 했던 것으로 여겨진다. 하지만 완전히 새로운 동역학 체계를 만들려던 파울리의 시도는 뜻하지 않은 난관에 부딪혔다. 파울리가 극복해야 한다는 이 난관을 하이젠베르크는 자연이 벗어날 수 없는 근본적인 한계로 간주하고 새로운 물리관이 불확정성 원리를 창안하게 되었던 것이다. 결과적으로 양자역학에 대한 철학적 해석을 최종적으로 주창한 사람은 완전한 개념적 완성을 추구했던 완벽주의자 파울리가 아니라 파울리의 말을 옆에서 듣고있던 하이젠베르크였다. 하이젠베르크는 파울리가 자신에게 보낸 이 편지를 받은 후 얼마 있다가 감마선 현미경에 의한 사고실험을 통해서 그의 불확정성원리의 기본적인 개념틀을 만들어냈던 것이다.

한편 광양자 가설에 관한 논쟁에서 아인슈타인에게 패배한 후 지속적으로 양자역학의 철학적 기초에 대해 몰두했던 보어도 하이젠베르크와 비슷한 견해에 도달했다. 우리는 항상 거시세계의 용어와 거기에서 얻어진 개념을 바탕으로 원자현상이라는 미시세계를 기술할 수 밖에 없기 때문에 미시세계를 기술하는 우리의 용어에는 어떠한 한계가 있기 마련이다. 즉 원자현상의 기술에 있어서 한 용어의 무모순성은 항상 그것의 정의가능성과 관찰가능성의 상보적 관계 때문에 제한을 받게 된다는 것이다. 예를 들어 입자나 파동이라는 개념은 거시적인 일상 개념에서 얻어진 것이기 때문에 빛과 같은 미시세계의 현상을 기술하는 데에는 일정한 한계가 주어진다. 이러한 생각을 보어의 상보성원리라고 하는데 보어는 이 개념을 바탕으로 그 이전에 자신이 곤경에 빠졌던 파동-입자의 이중성의 딜레마에서 벗어날 수 있었다. 즉 과거에 자신이 빛을 파동으로 보고 광양자 가설을 극복하려고 했던 시도도 완전히 잘못된 것만은 아니라는 것이다. 이런 관점에서 보면 보어의 해석의 이면에는 그의 보수적인 성향이 깔려 있었다고 할 수 있겠다.

결 어

양자역학의 형성에 있어서 최후의 승리자는 막스 플랑크와 같은 보수주의자도, 볼프강 파울리와 같은 완벽주의자도 아니었으며, 막스 보른과 같은 수학적 형식주의자도 아니었다. 1900년에서 1927년까지의 양자역학에 관한 논의에서 그 최종적 승리는 기존의 물리학에 반해서 대담한 가설과 일탈을 시도했다는 점에서의 혁명적인 측면과 항상 고전물리학을 염두에 두었다는 측면에서의 보수적인 측면을 동시에 기지고 있었던 하이젠베르크와 보어에게 돌아가 버렸다. 하지만 플랑크는 양자론의 포문을 여는 곳에서, 파울리는 배타원리의 창안한 부분에서, 보른은 양자역학의 수학적 기초를 확립하는 곳에서, 하이젠베르크나 보어가 하지 못했던, 심하게 말한다면 할 수도 없었던 일을 해내었던 것이다. 이런 사실을 고려한다면 새로운 물리적 세계관인 양자역학은 서로 상이한 학문적 배경에 의해서 배태되었던 다양한 학문적 스타일을 갖춘 과학자들의 종합적인 노력에 의해서 출현되었다고 할 수 있다. 아인슈타인과 같은 사람들이 양자역학을 완전하지 못하다고 주장하는 이면에는 양자역학적 혁명이 완전한 개념적 혁명으로 종결되지 않고 절충적 혁명의 성격을 띠고 마무리되었다는 것도 자리잡고 있다. 이런 문제점이 있었기 때문에 양자론이 등장한 지 100년이 다 되어 가는 지금도 양자역학은 여전히 우리에게 남겨진 과제를 던져주고 있는 것이다.

참 고 문 헌

[1] David C. Cahan, An Institute for an Empire, The Physikalisch-Technische Reichsanstalt (Cambridge Univ. Pr., Cambridge, 1989).

[2] David Charles Cassidy, Uncertainty: the life and science of Werner Heisenberg (Freeman, New York, 1992).

[2] John L. Heilbron, The Dilemmas of an Upright Man, Max Planck as Spokesman for German Science (University of California Press, Berkeley, 1986).

[3] J. L. Heilbron and T. S. Kuhn, HSPS 1, 211-290 (1969).

[4] Thomas S. Kuhn, Blackbody Theory and the Quantum Discontinuity, 1894-1912 (Oxford University Press, Oxford, 1978).

[5] Thomas S. Kuhn, HSPS 14, 231-252 (1984).

[6] Daniel Serwer, HSPS 8, 189-256 (1977).

임경순 교수는 독일 함부르크 대학 과학사 박사로서, 한국브리태니커 과학담당 책임연구원, 미국 버클리 대학 박사후연구원을 역임하였으며, 한국과학사학회 논문상, 한국과학기술도서상을 수상하였다. 현재 포항공대 인문사회학부 과학사 교수(물리학과 겸임교수)로 재직 중이다.
(gsim@postech.edu)