克勞德·夏農
克勞德·艾爾伍德·香農（英語：Claude Elwood Shannon，1916年4月30日—2001年2月24日），美國數學家、電子工程師和密碼學家，被譽為信息論的創始人。[1][2]香農是密西根大學學士，麻省理工學院博士。
| 克勞德·香農 Claude Shannon | |
|---|---|
 | |
| 出生 | 1916年4月30日 美國密西根州佩托斯基 |
| 逝世 | 2001年2月24日（84歲） 美國麻薩諸塞州梅德福 |
| 母校 | 密西根大學（BA、BS） 麻省理工學院（MS、PhD） |
| 知名於 |
|
| 配偶 | 諾瑪·萊沃 （1940年結婚—1941年結束） 貝蒂·香農 （1949年結婚—2001年結束） |
| 獎項 | 斯圖亞特·巴蘭汀獎章（1955） IEEE榮譽獎章（1966） 美國國家科學獎章（1966） 哈維獎（1972） 克勞德·E·香農獎（1972） 哈羅德·彭德獎（1978） 約翰·弗里茨獎（1983） 京都獎（1985） 馬可尼協會終身成就獎（2000） 國家發明家名人堂（2004） |
| 科學生涯 | |
| 研究領域 | 數學、電子工程 |
| 機構 | 貝爾實驗室 麻省理工學院 普林斯頓高等研究院 |
| 論文 | |
| 博士導師 | 弗蘭克·勞倫·希區考克 |
| 博士生 | 丹尼爾·希利斯 伊凡·蘇澤蘭 伯特·薩瑟蘭 |
1948年，香農發表了劃時代的論文——《通訊的數學理論》，奠定了現代信息論的基礎。不僅如此，香農還被認為是數字計算機理論和數字電路設計理論的創始人。1937年，21歲的香農是麻省理工學院的碩士研究生，他在其碩士論文中提出，將布爾代數應用於電子領域，能夠構建並解決任何邏輯和數值關係，被譽為有史以來最具水平的碩士論文之一[3]。二戰期間，香農為軍事領域的密碼分析——密碼破譯和保密通信——做出了很大貢獻。
生平
編輯香農出生於密歇根州佩托斯基 。父親克勞德（1862–1934）與他的姓名完全相同，是新澤西州早期移民的後裔，曾自主創業經商，也擔任過審核遺囑的法官。母親瑪貝爾·沃夫·香農（1890–1945）是德國移民的女兒，職業是語言學教師，曾長期擔任密歇根州蓋洛德高中的校長。香農人生的前16年都是在蓋洛德度過，他在那兒接受了公立學校教育，並於1932年從蓋洛德高中畢業。香農對機械和電氣電子表現出了極大愛好。他最優秀的學科就是科學和數學，並在家中製作了模型飛機、無線電控制的模型船和一個可與半英里內的朋友家聯繫的無線電報系統。大一點的時候，他做過西聯匯款的投遞員。
布爾理論和二戰前研究
編輯1932香農進入密歇根大學學習，在大學的一門課程中接觸到了喬治·布爾的理論。1936年大學畢業時，香農獲得了兩個學士學位：電子工程學士和數學學士。不久，香農進入麻省理工學院開始研究生學習，參與了萬尼瓦爾·布什的微分分析機（Differential Analyzer）的相關工作。微分分析機是一種模擬計算機，是現代電腦的鼻祖。[4]
在研究微分分析機的自組織（ad hoc）電路時，香農發現引入布爾理論的概念會帶有很大的好處。在1937年碩士論文的基礎上，香農在1938年發行的Transactions of the American Institute of Electrical Engineers上發表了著名論文「A Symbolic Analysis of Relay and Switching Circuits」[5]。由於這篇論文，香農於1940年被授予美國Alfred Noble協會美國工程師獎。哈佛大學的哈沃德·加德納稱香農的碩士論文「可能是本世紀最重要、最著名的碩士學位論文」。
在這篇論文中，香農證明了布爾代數和二進制算術可以簡化當時在電話交換系統中廣泛應用的機電繼電器的設計。然後，香農擴展了這個概念，證明了基於機電繼電器的電路能用於模擬和解決布爾代數問題。
用電子開關模擬布爾邏輯運算是現代電子計算機的基本思路，香農的工作成為數字電路設計的理論基石，完全取代了之前盛行的ad hoc方法。Vannevar Bush建議香農將類似的數學方法應用於孟德爾遺傳學，香農接受了這個建議，寫出了An Algebra for Theoretical Genetics。憑此論文，香農於1940年獲得麻省理工學院博士學位。
1940年，香農成為普林斯頓高等研究院的研究員。在那裡香農有很多機會與當時有影響力的科學家和數學家交流，比如阿爾伯特·愛因斯坦、赫爾曼·外爾和約翰·馮·諾伊曼，現代信息論的思想逐漸在他腦海中成型。
二戰期間的研究
編輯二戰期間，香農加入貝爾實驗室，研究火力控制系統和密碼學，相關課題直屬國防研究委員會領導。
在貝爾實驗室，香農遇到了擔任數值分析員的Betty。兩人於1949年結婚。
1943年，香農有機會和英國數學家和密碼學家艾倫·圖靈合作。圖靈被派到華盛頓和美國海軍交流破譯德國的北大西洋潛艇艦隊密碼的成果，並在貝爾實驗室待了一段時間。香農和圖靈在一個自助餐廳見面。圖靈向香農介紹了現在被稱為「通用圖靈機」[6][7]的概念。香農對此很感興趣，因為圖靈機的概念和香農自己的很多想法相吻合。
1945年，戰爭進入尾聲，國防研究委員會NDRC的使命即將結束。在正式解散之間，NDRC決定將重要研究成果整理成冊，其中有一篇論文「火力控制系統的數據平滑和數據預測」是香農和雷夫·畢比·布萊克曼、亨德里克·韋德·波德一起寫的，它的思路和「通信系統中將信號和噪聲相分離」[8]是類似的，也就是說，香農在火力控制系統研究中已經發現了後來成為信息論的基本概念和框架體系。
戰時香農在密碼學領域的研究與通信領域的關係更加密切。1945年，香農向貝爾實驗室提交了一份備忘錄，題目是「密碼學的一個數學理論」，之後在1949年以「保密系統的通信理論」的標題在Bell System Technical Journal正式發表，包含了很多在「通信的一個數學理論」出現的概念和數學公式。香農說，戰時對通信理論和密碼學的研究使他認識到「兩者密不可分」。[9]
還是在貝爾實驗室，香農證明了一次性密鑰（cryptographic one-time pad）是無法被破譯的。香農同時證明了一個無法被破譯的密碼系統的密鑰必須有以下特徵：完全隨機；不能重複使用；保密；和明文一樣長。[10]
戰後的貢獻
編輯1948年，劃時代的「通信的一個數學理論」分成兩部分，在7月和10月的Bell System Technical Journal發表。文章系統論述了信息的定義，怎樣數量化信息，怎樣更好地對信息進行編碼。在這些研究中，概率理論是香農使用的重要工具。香農同時提出了信息熵的概念，用于衡量消息的不確定性。
1949年，香農和沃倫·韋弗合著了「通信的數學理論」，包含了香農1948年的論文「通信的一個數學理論」和韋弗為非專業人士寫的介紹通信理論的內容。韋弗指出，在信息論中"information"這個詞不是指「你說了什麼」，而是指「你能夠說什麼」，也就是說，信息表示人們可有多少選擇。之後，約翰·羅賓森·皮爾斯在「Symbols, Signals, and Noise」這本書中也對香農的概念作了通俗的介紹。
1951年，香農寫了"Prediction and Entropy of Printed English"，說明信息基礎理論能夠應用於自然語言和計算機語言，計算了英語這門語言的熵，從而為從統計的角度分析語言打下了基礎。而且，香農認為如果把空格當作英語字母表上的第27個字母，能夠降低提取英語處理的不確定性。
數字通信的基礎理論——抽樣分析理論——的提出也有香農的貢獻。抽樣分析理論將連續的模擬信號抽樣成離散的數字信號，為20世紀60年代之後數字通信的興起奠定了基礎。
1956年，香農返回MIT。
愛好和發明
編輯除了學術研究，香農愛好雜耍、騎獨輪腳踏車和下棋。香農發明了很多用於科學展覽的設備，比如火箭動力飛行光盤、一個電動彈簧高蹺和一個噴射小號。香農的辦公桌上放着一個他稱之為「終極機器」的盒子，這是香農眾多好玩的發明之一，是根據人工智能研究的先驅、數學家馬文·閔斯基提出的想法而做出來的。這個盒子外表平淡無奇，只是在一側有一個開關，彈一下開關，盒蓋就會打開，一個機械手會伸出來；將開關復原，機械手就縮回盒子。香農還做了一個設備能夠復原魔方。
獲獎與榮譽
編輯- 美國科學院院士、倫敦皇家科學院院士、利奧波第那科學院院士（德國）
- 美國Alfred Noble協會美國工程師獎（1940年）
- IEEE莫里斯·N·利布曼紀念獎（1949年）
- 耶魯大學首席科學家（1954年）
- 斯圖亞特·巴蘭汀獎章（1955年）
- 研究合作獎（1956年）
- 密歇根大學榮譽博士（1961年）
- 萊斯大學榮譽獎章（1962年）
- 普林斯頓大學榮譽博士（1962年）
- 梅文·J·凱利獎章（1962年）
- 愛丁堡大學榮譽博士（1964年）
- 匹茲堡大學榮譽博士（1964年）
- IEEE榮譽獎章（1966年）
- 美國國家科學獎章（1966年）
- 美國成就學院金盤獎（1967年）
- 美國西北大學榮譽博士（1970年）
- 哈維獎（1972年）
- 牛津大學榮譽博士（1978年）
- 約瑟夫·雅卡爾獎（1978年）
- 哈羅德·彭德獎（1978年）
- 東英吉利亞大學榮譽博士（1982年）
- 卡內基梅隆大學榮譽博士（1984年）
- 美國聲頻技術協會金獎（1985年）
- 京都獎（1985年）
- 塔夫斯大學榮譽博士（1987年）
- 賓西法尼亞大學榮譽博士（1991年）
- Eduard Rhein Prize（1991年）
參見
編輯參考文獻
編輯- ^ Ioan James. Claude Elwood Shannon 30 April 1916 — 24 February 2001. Biographical Memoirs of Fellows of the Royal Society. 2009-12-01, 55: 257–265 [2018-04-02]. ISSN 0080-4606. doi:10.1098/rsbm.2009.0015. （原始內容存檔於2017-07-03） （英語）.
- ^ Bell Labs website: "For example, Claude Shannon, the father of Information Theory, had a passion...". [2013-05-21]. （原始內容存檔於2011-06-05）.
- ^ Poundstone, William. Fortune's Formula : The Untold Story of the Scientific Betting System That Beat the Casinos and Wall Street. Hill & Wang. 2005. ISBN 978-0-8090-4599-0.
- ^ Robert Price. Claude E. Shannon, an oral history. IEEE Global History Network. IEEE. 1982 [14 July 2011]. （原始內容存檔於2012-10-10）.
- ^ Claude Shannon, "A Symbolic Analysis of Relay and Switching Circuits," （頁面存檔備份，存於網際網路檔案館） unpublished MS Thesis, Massachusetts Institute of Technology, August 10, 1937.
- ^ Turing, A.M., On Computable Numbers, with an Application to the Entscheidungsproblem, Proceedings of the London Mathematical Society, 2 42, 1936, 42: 230–651937, doi:10.1112/plms/s2-42.1.230
- ^ Turing, A.M., On Computable Numbers, with an Application to the Entscheidungsproblem: A correction, Proceedings of the London Mathematical Society, 2 43 (6), 1938, 43 (6): 544–61937, doi:10.1112/plms/s2-43.6.544
- ^ David A. Mindell, Between Human and Machine: Feedback, Control, and Computing Before Cybernetics, (Baltimore: Johns Hopkins University Press), 2004, pp. 319-320. ISBN 978-0-8018-8057-5.
- ^ quoted in Kahn, The Codebreakers, p. 744.
- ^ Shannon, Claude (1949). "Communication Theory of Secrecy Systems". Bell System Technical Journal 28 (4): 656–715.
- ^ The Invention of the First Wearable Computer Online paper by Edward O. Thorp of Edward O. Thorp & Associates (PDF). [2012-11-05]. （原始內容存檔 (PDF)於2008-05-28）.
- 克勞德·艾爾伍德·香農：《通信的數學理論》（A mathematical theory of communication）貝爾系統技術月刊l,27卷,379-423,623-656頁, 1948年7月,10月
- 克勞德·艾爾伍德·香農和Warren Weaver:《通信的數學理論》伊利諾伊大學出版社, Urbana,伊利諾伊,1949年. ISBN 978-0-252-72548-7
外部連結
編輯- 香農的生活和生涯
- 《保密系統通訊理論》（Communication Theory of Secrecy Systems）：Scanned JPEG images，PDF（頁面存檔備份，存於網際網路檔案館），PDF site.
- 通信的數學理論（頁面存檔備份，存於網際網路檔案館）
- 麻省理工訃告（頁面存檔備份，存於網際網路檔案館）
- Obituary Royal Netherlands Academy of Sciences (in Dutch)
- 在密歇根大學的回顧
- Notes on Computer-Generated Text
- 香農的貢獻
- 香農的判別理論和判別機器人
- 香農的關於計算機下象棋的論文，文本（頁面存檔備份，存於網際網路檔案館）
- 香農的關於計算機下象棋的論文,PDF（頁面存檔備份，存於網際網路檔案館）
- 香農的關於計算機下象棋的論文，文本，原稿（頁面存檔備份，存於網際網路檔案館）
- 《信息科學技術概論》附錄1《信息論的奠基人—香農》（頁面存檔備份，存於網際網路檔案館）