1. 資訊理論奠基人之一香農
「通信的基本問題就是在一點重新准確地或近似地再現另一點所選擇的消息」。
這是數學家香農(Claude E.Shanon)在他的驚世之著《通信的數學理論》中的一句銘言。正是沿著這一思路他應用數理統計的方法來研究通信系統,從而創立了影響深遠的資訊理論。
——香農,1816年生於美國密執安州的加洛德。在大學中他就表現出了對數理問題的高度敏感。他的碩士論文就是關於布爾代數在邏輯開關理論中的應用。後來,他就職於貝爾電話研究所。在這個世界上最大的通信公司(美國電話電報公司)的研究基地里,他受著前輩的工作的啟示,其中最具代表性的是《貝爾系統技術雜志》上所披露的奈奎斯特的《影響電報速率的一些因素》和哈特萊的《信息的傳輸》。正是他們最早研究了通信系統的信息傳輸能力,第一次提出了信息量的概念,並試圖用教學公式予以描述。而香衣則創造性地繼承了他們的事業,在資訊理論的領域中鑽研了8年之久,終於在1948年也在《貝爾系統技術雜志》上發表了244頁的長篇論著,這就是上面提到的那篇《通信的數學理論》。次年,他又在同一雜志上發表了另一篇名著《雜訊下的通信》。在這兩篇文章中,他解決了過去許多懸而未決的問題:經典地闡明了通信的基本問題,提出了通信系統的模型,給出了信息量的數學表達式,解決了信道容量、信源統計特性、信源編碼、信道編碼等有關精確地傳送通信符號的基本技術問題。兩篇文章成了現在資訊理論的寞基著作。而香農,也一鳴驚人,成了這門新興學科的寞基人。那時,他才不過剛剛三十齣頭。
—— 他的成就轟動了世界,激起了人們對資訊理論的巨大熱情,它向各門學科沖擊,研究規模象浪雪球一樣越來越大。不僅在電子學的其他領域,如計算機、自動控制等方面大顯身手,而且遍及物理學、化學、生物學、心理學、醫學、經濟學、人類學、語音學、統計學、管理學……等學科。它已遠遠地突破了香衣本人所研究和意料的范疇,即從香農的所謂「狹義盾息論」發展到了「廣義資訊理論」。
—— 進入80年代以來,當人們在議論未來的時候,人們的注意力又異口同聲的集中到信息領域。按照國際一種流行的說法,未來將是一個高度信息化的社會。信息工業將發展成頭號工業,社會上大多數的人將是在從事後息的生產、加工和流通。這時,人們才能更正確地估價香農工作的全部含義。資訊理論這個曾經只在專家們中間流傳的學說,將來到更廣大的人群之中。香農這個名字也飛出了專家的書齋和實驗室,為更多的人所熟悉和了解。
2. 我們有10萬本金可以用網格交易法,那要如何使用
一、網格起源。
網格交易最初是一位名叫-克勞德·艾爾伍德·香農,這個人所創立的。他的主要思路就是,在買入資產的方式是在任何一個價格都可以買,不過他第一次開倉,也就是初始倉位都會用賬戶資金的50%來買入資產。
當資產價格上漲一定的幅度時,就賣出倉位的一部分;當價格下跌到一定幅度時候,就買入一部分進行補倉,最終 現金 和 資產各佔50%, 這就是網格交易雛形。
情形1
如果行情一直處於上漲,就一直保持這個動作。但是,我們都知道行情不可能一直漲,一定會有回調的,那麼當回調的時候,採用此方法就會造成虧損。當市場趨勢到達階段頂部時,我們將採取下一個方案,採用類似馬丁策略的這種加倉方式。
3. 資訊理論奠基人之一香農
克勞德·艾爾伍德·香農
克勞德·艾爾伍德·香農(Claude Elwood Shannon ,1916年4月30日—2001年2月26日)美國數學家、資訊理論的創始人。
香農於1916年4月30日出生於美國密歇根州的Petoskey,並且是愛迪生的遠親戚。1936年畢業於密歇根大學並獲得數學和電子工程學士學位,在那裡他遇到了布爾,上過他的課程。1940年獲得麻省理工學院(MIT)數學博士學位和電子工程碩士學位。1941年他加入貝爾實驗室數學部,工作到1972年。1956年他成為麻省理工學院(MIT)客座教授,並於1958年成為終生教授,1978年成為名譽教授。香農博士於2001年2月26日去世,享年84歲。
香農於1940年在普林斯頓高級研究所(The Institute for Advanced Study at Princeton)期間開始思考資訊理論與有效通信系統的問題。經過8年的努力,香農在1948年6月和10月在《貝爾系統技術雜志》(Bell System Technical Journal)上連載發表了他影像深遠的論文《通訊的數學原理》。1949年,香農又在該雜志上發表了另一著名論文《雜訊下的通信》。在這兩篇論文中,香農闡明了通信的基本問題,給出了通信系統的模型,提出了信息量的數學表達式,並解決了信道容量、信源統計特性、信源編碼、信道編碼等一系列基本技術問題。兩篇論文成為了資訊理論的奠基性著作。
獲獎與榮譽:
美國Alfred Noble協會美國工程師獎 1940年
Morris Liebmann 無線電工程師協會Memorial獎章 1949年
耶魯大學 (首席科學家) 1954年
Stuart Ballantine弗蘭克林協會獎章 1955年
研究合作獎 1956年
密歇根大學, 榮譽博士 1961年
萊斯大學 榮譽獎章1962年
普林斯頓大學, 榮譽博士 1962年
Marvin J. Kelly Award 1962年
愛丁堡大學 榮譽博士 1964年
匹茲堡大學 榮譽博士 1964年
電子電氣工程師協會 榮譽獎章 1966年
美國國家科學獎章 1966年, 由前總統Lyndon B. 約翰遜頒發
Golden Plate Award 1967年
美國西北大學, 榮譽博士 1970年
Harvey Prize, the Technion of Haifa, 以色列 1972年
牛津大學 榮譽博士 1978年
Joseph Jacquard獎 1978年
Harold Pender獎 1978年
東英格倫大學, 榮譽博士 1982年
卡內基梅隆大學 榮譽博士 1984年
美國聲頻技術協會 金獎 1985年
Kyoto Prize 1985年
塔夫斯大學 榮譽博士 1987年
賓西法尼亞大學 榮譽博士 1991年
Eard Rhein Prize 1991年
是這位吧,網路就有啊.
4. 克勞德香農有多厲害
克勞德·艾爾伍德·香農(1916年4月30日-2001年2月24日)是美國數學家,資訊理論的創始人。1936年獲得密歇根大學學士學位[1]。1940年,他獲得了麻省理工學院的碩士和博士學位,1941年,他加入了貝爾實驗室。
香農提出了信息熵的概念,奠定了資訊理論和數字通信的基礎。論文主要有1938年的碩士論文《繼電器和開關電路的符號分析》,1948年的《通信的數學原理》,1949年的《雜訊下的通信》。
紀念克勞德·埃爾伍德·香農的香農獎是傳播學理論領域的最高獎,也被稱為信息領域的諾貝爾獎。
5. 誰能給我介紹一下香農-信息輪之父
這里的資料是我看下來比較全的
香農
克勞德·香農(Claude Elwood Shannon,1916-2001)1916年4月30日誕生於美國密西根州的Petoskey。在Gaylord小鎮長大,當時鎮里只有三千居民。父親是該鎮的法官,他們父子的姓名完全相同,都是Claude Elwood Shannon。母親是鎮里的中學校長,姓名是Mabel Wolf Shannon。他生長在一個有良好教育的環境,不過父母給他的科學影響好像還不如祖父的影響大。香農的祖父是一位農場主兼發明家,發明過洗衣機和許多農業機械,這對香農的影響比較直接。此外,香農的家庭與大發明家愛迪生(Thomas Alva Edison,1847-1931)還有遠親關系。
香農的大部分時間是在貝爾實驗室和MIT(麻省理工學院)度過的。在「功成名就」後,香農與瑪麗(Mary Elizabeth Moore)1949年3月27日結婚,他們是在貝爾實驗室相識的,瑪麗當時是數據分析員。他們共有四個孩子:三個兒子Robert、James、Andrew Moore和一個女兒Margarita Catherine。後來身邊還有兩個可愛的孫女。
2001年2月24日,香農在馬薩諸塞州Medford辭世,享年85歲。貝爾實驗室和MIT發表的訃告都尊崇香農為資訊理論及數字通信時代的奠基之父。
1936年香農在密西根大學獲得數學與電氣工程學士學位,然後進入MIT念研究生。
1938年香農在MIT獲得電氣工程碩士學位,碩士論文題目是《A Symbolic Analysis of Relay and Switching Circuits》(繼電器與開關電路的符號分析)。當時他已經注意到電話交換電路與布爾代數之間的類似性,即把布爾代數的「真」與「假」和電路系統的「開」與「關」對應起來,並用1和0表示。於是他用布爾代數分析並優化開關電路,這就奠定了數字電路的理論基?9�鶇笱У餒さ悄?Howard Gardner)教授說,「這可能是本世紀最重要、最著名的一篇碩士論文。」
1940年香農在MIT獲得數學博士學位,而他的博士論文卻是關於人類遺傳學的,題目是《An Algebra for Theoretical Genetics》(理論遺傳學的代數學)。這說明香農的科學興趣十分廣泛,後來他在不同的學科方面發表過許多有影響的文章。
在讀學位的同時,他還用部分時間跟溫尼法·布希(Vannevar Bush)教授進行微分分析器的研究。這種分析器是早期的機械模擬計算機,用於獲得常微分方程的數值解。1941年香農發表了《Mathematical theory of the differential analyzer》(微分分析器的數學理論),他寫道:「大多數結果通過證明的定理形式給出。最重要的是處理了一些條件,有些條件可以生成一個或多個變數的函數,有些條件可使常微分方程得到解。還給出了一些注意事項,給出求函數的近似值(不能產生精確值)、求調整率的近似值以及自動控制速率的方法。」
1941年香農以數學研究員的身份進入新澤西州的AT&T貝爾電話公司,並在貝爾實驗室工作到1972年,從24歲到55歲,整整31年。1956年他當了MIT的訪問教授,1958年成為正式教授,1978年退休。
人們描述香農的生活,白天他總是關起門來工作,晚上則騎著他的獨輪車來到貝爾實驗室。他的同事D. Slepian寫到:「我們大家都帶著午飯來上班,飯後在黑板上玩玩數學游戲,但克勞德很少過來。他總是關起門來工作。但是,如果你要找他,他會非常耐心地幫助你。他能立刻抓住問題的本質。他真是一位天才,在我認識的人中,我只對他一人使用這個詞。」
香農與John Riordan一起工作,1942年發表了一篇關於串並聯網路的雙終端數的論文。這篇論文擴展了麥克馬洪(Percy A. MacMahon,1854-1929)1892年在Electrician上發表的論文理論。1948年則創立了資訊理論(information theory)。
在漫長的歲月,他思考過許多問題。除在普林斯頓高等研究院工作過一年外,主要都在MIT和Bell Lab度過。需要說明的是,在二次世界大戰時,香農博士也是一位著名的密碼破譯者(這使筆者想到比他大4歲的圖靈博士)。他在Bell Lab的破譯團隊主要是追蹤德國飛機和火箭,尤其是在德國火箭對英國進行閃電戰時起了很大作用。1949年香農發表了另外一篇重要論文《Communication Theory of Secrecy Systems》(保密系統的通信理論),正是基於這種工作實踐,它的意義是使保密通信由藝術變成科學。
1948年香農在Bell System Technical Journal上發表了《A Mathematical Theory of Communication 》。論文由香農和威沃共同署名。前輩威沃(Warren Weaver,1894-1978)當時是洛克菲勒基金會自然科學部的主任,他為文章寫了序言。後來,香農仍然從事技術工作,而威沃則研究資訊理論的哲學問題。順便提一句,該論文剛發表時,使用的是不定冠詞A,收入論文集時改為定冠詞The。
熵的概念
香農理論的重要特徵是熵(entropy)的概念,他證明熵與信息內容的不確定程度有等價關系。熵曾經是波爾茲曼在熱力學第二定律引入的概念,我們可以把它理解為分子運動的混亂度。信息熵也有類似意義,例如在中文信息處理時,漢字的靜態平均信息熵比較大,中文是9.65比特,英文是4.03比特。這表明中文的復雜程度高於英文,反映了中文詞義豐富、行文簡練,但處理難度也大。信息熵大,意味著不確定性也大。因此我們應該深入研究,以尋求中文信息處理的深層突破。不能盲目認為漢字是世界上最優美的文字,從而引申出漢字最容易處理的錯誤結論。
眾所周知,質量、能量和信息量是三個非常重要的量。
人們很早就知道用秤或者天平計量物質的質量大?H歡��頤槍賾諶取⑷劑稀⒐τ肽艿募屏課侍猓�僦?9世紀中葉,隨著熱功當量的明確和能量守恆定律的建立才逐漸清楚。能量一詞就是它們的總稱,而能量的計量則通過「卡、焦耳」等新單位的出現而得到解決。
然而,關於文字、數字、圖畫、聲音的知識已有幾千年歷史了。但是它們的總稱是什麼,它們如何統一地計量,直到19世紀末還沒有被正確地提出來,更談不上如何去解決了。20世紀初期,隨著電報、電話、照片、電視、無線電、雷達等的發展,如何計量信號中信息量的問題被隱約地提上日程。
1928年哈特利(R.V. H. Harley)考慮到從D個彼此不同的符號中取出N個符號並且組成一個「詞」的問題。如果各個符號出現的概率相同,而且是完全隨機選取的,就可以得到DN個不同的詞。從這些詞里取了特定的一個就對應一個信息量I。哈特利建議用N log D這個量表示信息量,即I=N log D 。這里的log表示以10為底的對數。後來,1949年控制論的創始人維納也研究了度量信息的問題,還把它引向熱力學第二定律。
但是就信息傳輸給出基本數學模型的核心人物還是香農。1948年香農長達數十頁的論文「通信的數學理論」成了資訊理論正式誕生的里程碑。在他的通信數學模型中,清楚地提出信息的度量問題,他把哈特利的公式擴大到概率pi不同的情況,得到了著名的計算信息熵H的公式:
H=∑-pi log pi
如果計算中的對數log是以2為底的,那麼計算出來的信息熵就以比特(bit)為單位。今天在電腦和通信中廣泛使用的位元組(Byte)、KB、MB、GB等詞都是從比特演化而來。「比特」的出現標志著人類知道了如何計量信息量。香農的資訊理論為明確什麼是信息量概念作出決定性的貢獻。
事實上,香農最初的動機是把電話中的噪音除掉,他給出通信速率的上限,這個結論首先用在電話上,後來用到光纖,現在又用在無線通信上。我們今天能夠清晰地打越洋電話或衛星電話,都與通信信道質量的改善密切相關。
克勞德·香農在公眾中並不特別知名,但他是使我們的世界能進行立即通信的少數科學家和思想家之一。他是美國科學院院士、美國工程院院士、英國皇家學會會員、美國哲學學會會員。他獲得過許多榮譽和獎勵。例如1949年Morris獎、1955年Ballantine獎、1962年Kelly獎、1966年的國家科學獎章、IEEE的榮譽獎章、1978年Jaquard獎、1983年Fritz獎、1985年基礎科學京都獎。他接受的榮譽學位不勝枚舉,不再贅述。
今天,我們懷念香農,要熟悉他的兩大貢獻:一是信息理論、信息熵的概念;另一是符號邏輯和開關理論。我們更應該學習他好奇心強、重視實踐、追求完美、永不滿足的科學精神,這是他獲得成功的重要經驗。
6. 炒股與賭博的區別在哪裡
炒股和賭博的區別在哪裡?
7. 【譯】走近克勞德·香農:天才是如何思考、工作和生活的
編譯:Fanny
克勞德·香農(Claude Shannon)在工程和數學界是一位響當當的人物,他在20世紀30年代到40年代的工作為他贏得了「信息時代之父」的稱號。
在他21歲的時候,香農發表了被稱為有史以來最重要的碩士論文,文中論述了如何使用二進制開關進行邏輯運算,為未來的電子計算機奠定了基礎。在他32歲的時候,《通信的數學理論》誕生。在這部著作中,香農提出了比特數據,證明了信息是可以被量化的,並闡述了如何在保證准確率的前提下用數字編碼對信息進行壓縮和傳輸。該著作被譽為「信息時代的大憲章」。
但香農所做的還不止於此。
香農不僅在學術上建樹甚多,在生活中也非常有趣並富有創造力。在工程界和數學界里雖然有很多能寫出優秀論文的人才,但他們卻很少會像香農這樣同時擅長玩雜耍、玩獨輪單車、下國際象棋,等等。香農甚至還是一個專業級的選股人以及業余詩人。
他曾在二戰時在連接羅斯福和丘吉爾的一條跨大西洋的絕密電話線上工作,並共同構建了世界上第一台可穿戴計算機。他學過開飛機和爵士單簧管。他在自己的房間裡面做了一面假牆,按下按鈕就能旋轉的那種。他還曾經做過一個小玩意,這個東西唯一的作用是在打開開關的時候,會出現一個機械手來關閉開關。另外,他的照片還登上過Vogue雜志。
你可以把他想像成愛因斯坦和「世界上最有趣的男人」(出自DOS EQUIS啤酒的電視廣告——譯者注)的混合體。
我們希望能夠通過研究香農,解答關於「是什麼造就了香農?」以及「我們應該從香農身上學習什麼?」的問題。通過幾年時間的深入調查與研究,我們總結出了以下12條。也許這不是一份全面的清單,但我們希望它能夠幫助大家獲得生活上和工作上的一些啟發。
比起香農所處的20世紀中葉,我們現在的生活中有更多的事物——比如社交媒體和智能手機——不斷地分散著我們的注意力,從而降低了效率(而且香農在其中需承擔部分責任)。
但不管在什麼時代,如何避免分心都是生活中永恆的主題。香農向我們證明,想要減少分心的影響,光靠短時間的注意力集中是不夠的,還需要對個人的生活與工作習慣有長期的塑造。
首先,香農不會讓自己花太多時間來清空收件箱。他會把那些不想回復的郵件統一放到一個命名為「拖了很久都沒回復的信件(Letters I』ve Procrastinated On For Too Long)」的垃圾箱中。事實上,當我們從華盛頓特區的國會圖書館中翻出他們歸檔保存的香農的信件時,我們發現寄給他的郵件比他寄出去的要多得多。所有節省出來的時間都被他花在研究和探索上了。
香農把同樣的策略用在他的辦公室中。他的同事經常會看到香農的辦公室大門是緊閉的(這在貝爾實驗室的「開門辦公」的文化中並不多見)。我們了解到,香農的同事們並不認為他難以相處,但他們也感覺到香農非常注重自己的隱私和安靜思考的時間。其中一位同事說道:「你可以敲開他的門,他也會回應你的話,但除此以外,他只會跟自己說話」。
另一方面,如果有同事帶著大膽的新想法或吸引人的工程問題來拜訪香農的話,香農通常與他進行好幾小時的高效對話。香農其實跟其他人一樣,都關心時間如何有效利用:應投入到思想碰撞中,而不是閑話家常里。對於那些比香農更為外向的人(說實話,這幾乎就是所有人了)來說,多少都能從香農身上學到如何刻意並持續地在工作時間內做到毫無分心。
在數學工作中,香農可以直接抓住問題的核心、並把其他細節放在後面考慮。他曾解釋道:「我覺得自己更喜歡具象化而不是符號化。我會試圖先感受一下問題本身,然後再談方程式。」就好像是他先看到了解決方案然後再來解釋為什麼這個它是正確的。
香農的學生Bob Gallager回憶道:「他有一種神奇的洞察力。他彷彿能看穿事物本身。他會說『Something like this should be true』,而且往往事後證明他是對的。如果你沒有超凡的直覺,你不可能憑空開辟出一片全新的領域。」
不過這偶爾也會給香農帶來麻煩——學術界的數學家們有時會職責他的工作不夠嚴謹。但他們的批評通常是錯誤的。「事實上,」 數學家Solomon Golomb說,「香農對於真相的直覺幾乎從未失敗過。」即使細節還需要完善,但結論幾乎總是正確的。
當然,大多數人都不是天才,而且也都沒有像香農那樣的神直覺。那麼此處有什麼值得我們借鑒?我們認為是:即便我們的直覺不足以引導我們去開發出一個像資訊理論這樣的新課題,但往往也能幫助我們決定一個事情到底該不該做。
我們會因為注重細節和中間環節而忽視直覺,但同時也意味著錯過了創意迸發的瞬間。不要指望好的想法會很有邏輯性地被推導出來,這完全是誤解了創意在實際工作中的作用。作家Rita Mae Brown指出:「直覺是源於急躁的一種邏輯暫停。」
我們常常會以一種清晰的方式——比如文章、幻燈片、演講——向其他人表述自己的想法,而其他人也會這么做,但要知道,我們得到這些想法的過程是錯綜復雜的,並不會如表達出來的那麼有條有理。等待一個清晰明確的突破無異於等待一輛永不到達的列車。
許多文章都大肆宣揚過導師的好處,本文也並不想重復。誠然,導師是很重要的,但很多關於導師制的文章喜歡把導師描寫成一種你需要去獲取的資源:找到一個聰明的成功人士來為你的職業生涯做支持,然後你就萬事大吉了。
事實並沒有那麼簡單。僅依靠自信心去接近一個能在你的發展過程中起到重要作用的導師並不能發揮導師制的所有價值,還需要有足夠的謙遜來用心聆聽導師的建議,即使這些建議聽起來讓你不舒服、有挑釁意味、甚至違背直覺。否則的話,導師的存在還有什麼意義呢?
對香農來說最重要的導師應該是他在麻省理工學院的研究生學院顧問范內瓦·布希(Vannevar Bush),他後來在二戰中主導美國軍事科學研究計劃,並成為了第一位總統科學顧問。布希看出了香農的過人天賦,但他同時也盡了身為導師的責任——把香農拉出他的舒適區。
比如,在香農的碩士論文大獲成功之後,布希就開始敦促香農開始准備理論遺傳學方面的博士論文。理論遺傳學是一個香農毫無積累的領域,與他所從事多年的工程和數學領域相去甚遠。布希希望以此證明他弟子的戰勝挑戰的能力,而香農也承認這讓他認識到了自己的可塑性。
在接到指示的那一刻,香農內心也許會有各種想法(「呵呵,遺傳學?」),但布希清楚自己在做什麼,而香農也選擇相信他導師的判斷,虛心接受指導。
用心接受指導實際上是一種謙虛的表現:你對導師有充分的信任,你知道他能看到你看不到的東西。畢竟,當你最開始找到他的時候,必定有你所確信的理由。
范內瓦·布希對香農的影響還體現在另一個方面:比起專才,他更捍衛通才的價值。正如他向MIT的教授所表達的:
布希鼓勵香農不要給自己設限,而香農在後續的生涯中也證明了他如何深刻地理解了這個道理。
我們知道:布希的建議如今看來似乎有點不合時宜。工作上的各方面的壓力都在要求著我們去竭盡全力地成為領域內的專家,培養一個與眾不同的一技之長然後苦心專研。在這種觀念下,那種廣泛涉獵的行為簡直如同兒戲,而且那樣的人註定要被那些擅長專注的對手所打敗。
如果讓香農聽到這些,他肯定會生氣的。香農深深認同布希的通才觀念,我們認為這是因為這與香農的天生好奇的性格不謀而合。香農之所以成功,並不僅僅因為他天生聰明,更由於他不遺餘力地保持多樣化的興趣。
他最著名的碩士論文裡面糅合了他在布爾邏輯和計算機兩方面的興趣,這兩個本來井水不犯河水的學科,在香農的大腦里得到了融合。香農的資訊理論論文吸收了他在密碼破譯、語言學、以及文學方面的積累。他曾對布希解釋說:
在香農投身到科學研究的同時,他也培養了一些能夠幫助他保持思維敏捷的興趣愛好:爵士樂、獨輪單車、雜耍、國際象棋、小發明、詩歌,等等。他本來可以把自己的才華全部用在某個特定的領域,不斷地專研深挖,並終此一生。但幸運的是,他並沒有這樣做。
廣泛涉獵也意味著想停就停的自由。即使像香農那樣的天才,也不能保證所有開啟了的工作都能取得結果。這可能也違背了某些現代常識,但是我們認為其中有它的道理。香農通常會工作到他感到滿意為止——然後就會轉向其他事情。在某些人眼中這是三分鍾熱度的表現,但我們認為這是因為他已經清晰地知道後面需要付出多少代價。
即使是Time Ferriss(現代生產力運動的先知)也會鼓吹知曉什麼時候該停下來的重要性:「懂得在沒有結果的事情上及時收手,是成為贏家的必備條件。」同理,這也是為什麼許多有才華的畫家會在他們的工作室里存放著大量未完成的作品。
當Ed Thorp在1961年與香農共同構建可穿戴計算機的時候,他曾經拜訪過香農的工作場所,那是一個香農用來搗鼓各種東西的大型家庭作坊,他是這么描述的:這是「一個發明者的天堂……有數以百計的機械和電子設備,電機、晶體管、開關、滑輪、齒輪、冷凝器、變壓器,等等等等」香農隨心所欲地在各個項目之間竄來竄去,絲毫不介意自己的手變臟,也不介意那些零件和半成品散落各地。
香農在學術研究上也是這樣。他的閣樓里塞滿了紙條、寫了一半的文章,以及寫著「好問題」的報告紙。
我們一方面對香農那些未能發表的工作表示遺憾,另一方面,我們也認識到正是這樣的混亂給他的創作提供了條件。香農並不把時間和精力花費在整理論文和工作室上,而是將其投入到研究國際象棋、機器人或者投資策略中了。
香農的廣泛興趣使他需要足夠的時間才能把想法變成現實。但不幸的是,他通常不會公布他的發現成果。他總是跟隨著好奇心而動,雖然有時看起來很低效,但是若干年後他可能會回頭來繼續研究他最好的想法。
他1948年發表的資訊理論的論文花了將近十年時間才完成。1939年研究生畢業的時候,他開始有了研究「關於信息傳輸系統的基本屬性,包括電話、無線電、電視、電報等等」的想法。在從有想法到論文發表中間的時間,適逢第二次世界大戰,他參與了對高射炮理論和密碼學的研究,以致於他只能在業余時間研究資訊理論。
後來在回顧往事的時候,他撿起了之前的靈感,然後就開始研究。研究工作並不是線性的,想法總是隨時到來,「我記得有一天晚上半夜醒來,我突然有了一個想法,然後我就整晚都在研究這個想法。」香農的一個同事說,當他的資訊理論論文發表時,「就像一顆炸彈「。這是堅持了十年研究的成果,而香農的耐心使得他的理論非常成熟。
這也許是我們最難理解的一條,生活在追求「及時滿足感」的時代,在工作中多等十分鍾都已經變得稀奇古怪,更不用說等10年時間了。但是對於從事創新、創業以及創造性工作的人們而言,也許這就是最好的一課了。精英都把時間當做朋友。
記住:香農並不是十年時間全副精力都撲在研究資訊理論上,事實上,他非常忙,根本沒有空,研究資訊理論只是業余時間,但是也正是他的堅持和耐心,使得他能完成了這份重要的工作。
如果也可以堅持足夠長的時間,我們在業余時間會做些什麼?
香農朋友不多。他貝爾實驗室的同事說,香農並不是「不友善」,只是他從來不是社交物種。
Brockway McMillan也是香農的同事,說香農「一貫對數學問題的爭論沒有耐心,他解決問題的方式與大多數人的做法不同「,香農的出類拔萃的智商使得他有一種冷漠或不耐煩的氣質,正如McMillan所說的那樣,「他從來沒有爭辯過他的想法。 如果人們不相信,他就會忽視那些人。「
傲慢和自信之間只是一線之隔,但香農一般處於右邊,因為他有智力資源來支撐他的自信。但同樣重要的是,他花了很多時間來積累這些智力資源,因為他從來沒有被捲入爭權奪位,玩弄辦公室政治,或試圖讓每一位批評家都滿意。解決問題的樂趣對他來說比其他所有的東西都重要,因此,當他選擇朋友時,他會選擇那些志同道合的人,以及那些給他最大幫助的人。這樣也使得他的朋友很少。
阿蘭·圖靈(Alan Turing)是他為數不多的朋友中的一個,二戰期間圖靈代表英國政府來美國實地調查密碼學研究,他們有過一場深入的交流。 在貝爾實驗室,香農還與工程師Barney Oliver和John Pierce保持聯系,他們每個人都是信息技術史上的先鋒人物。
香農同樣從交友中受益。 因為他選擇他所欣賞的的聰明人和富有創造力的人做朋友,所以,他也變得更聰明,更具創造性。 他在經營自己的友誼中比我們大多數人更加慎重,他只選擇那些能激發他自己潛力的人。
香農對待友誼側重於內容,而不僅僅是關系。 當然,香農和他的朋友們也有一些玩樂的時候,但相對於大多數人而言,他們也花更多的時間討論嚴肅和令人頭疼的事情。 圖靈和香農並沒有花時間談論天氣,他們只是談論人工智慧,只有兩位先驅可以這么做。
這對我們其他的非天才們意味著什麼? 這並不意味著要放棄你現在所有的朋友從而再換一批新的。 這意味著我們要問自己,你的朋友是誰,你們一起做什麼事情。多想想你們一起的時間的價值是什麼,如果你覺得應該變一變,就改變它。
傳說中香農的辦公室里到處都是支票,如他的版稅、股票投資的收益,但是他好像並不在意這些錢。這和其他的傳說一樣,都被誇大了,但是無風不起浪。香農的一位同事說確實看到過他的辦公桌上有一張大額度未兌現的支票,而且他朋友們在回憶的時候總是提到他似乎對金錢漠不關心。
賺錢從來都不是香農最關心的問題,但是他的確賺到了不少錢。他成功投資了很多早期的矽谷公司, 如Teledyne and Harrison Laboratories(被惠普收購)。香農眾多愛好之一就是選股票,他經常給給大家分享投資的經驗。到他去世時,他的家底非常豐厚。
那麼,他是如何協調賺錢與一門心思地追求科學這兩件事情的?
斯多葛學派哲學家塞內卡有一條偉大的名言:「能夠視陶器為銀器的人是偉大的,而視銀器為陶器的人也同樣偉大。沒有一個強大的內心就不能夠忍受財富的考驗。「 聽起來很奇怪,財富為什麼要」忍受「?塞內卡又說:對金錢的追求會妨害我們對真正重要事情的追求。 金錢既不是萬惡之源,也不能解決我們所有問題:問題在於它是否擋在了對真正重要事情追求的道上。
香農是一個很好的例子,他很富有,也沒有被追求財富所左右。 他從來不是為了過奢侈的生活才去積累財富,他的財富使得他能把更多時間花在他喜愛的小玩意兒項目上。他用投資回報的錢來研究雜耍中的物理學並製造雜耍機器人,以及和Ed Thorp一起發明了可穿戴計算機。
我們並不是需要知道對金錢的追求會掩蓋真正重要的東西。但是我們需要提醒自己,財富隨著辛勤的工作而來,但它並不是我們之所以辛勤工作所要追求的目的。矽谷企業家保羅·格雷厄姆這樣說道:「我受到過很多批評,因為我告訴創始人先把重點放在做出好東西上,而不是擔心如何賺錢。但是這正是谷歌和蘋果的成功之道。「
還有更重要一點,香農並不是只是漠視財富,他是漠視財富但是同時也善於獲得財富。我認為漠視財富使得你能集中精力做有價值的事情,這些有價值的事情使得你能獲得財富。這是我們都應該深刻理解的道理。
香農從來不會被出版大部頭書籍的同事所打動,也不會被最花哨的理論所打動。 他喜歡的是極度的簡潔(這讓我們不得不又想起喬布斯)。
1952年,在與貝爾實驗室工程師的一次談話中,香農介紹了他自己所用的一個非常有效的問題解決策略。 第一條就是你應該首先通過簡化來解決你的問題。香農說 「幾乎你遇到的每一個問題都會被各種無關的數據混淆,如果你能簡化問題,就能更容易看到問題的本質」。
簡化是一門藝術:需要一點點剝去問題表面的東西,而不是讓它變得更加有趣。 香農承認一步一步拆分會使得問題慢慢變得不是問題——但這正是解決之道所在:「通常如果你能解決這個簡單的問題,你可以在這個解決方案中添加改進方案,直到你能解決最初的那個問題「。
Bob Gallager博士是香農的研究生,後來也成了信息理論研究的領導人物,他親眼見識過香農是怎麼對問題進行簡化的。 有一天他來到香農辦公室,帶著一個復雜的新研究想法,然而,對香農來說,那些只是單純的「花哨」:
我們從小就被教育說越能掌握復雜的概念越證明我們的智商高。問題越復雜,越需要聰明的人才能解決。但是,香農讓我們也看到了相反的一面,那就是越追求簡單,越需要更高的智商。
畢竟,正如作者Ben Casnocha寫道:「簡化復雜的問題並不意味著忽略問題的復雜性。」,香農也是這樣,他可以和他最優秀的同事一樣用最復雜的數學公式,但是他今天被人們銘記是因為他可以把事情拆解清楚,而不是搞的更復雜。
不要將簡單與簡單思考混淆。 要將其簡化並提煉事物的本質是很難的事情。 如果你在會議上覺得「這個問題太簡單」從而不願意說些什麼,你可能需要在想想是不是真是這樣,因為,這可能是你最應該要達到的目的。
在香農30幾歲的時候,他是美國科學界中最耀眼的明星之一,被媒體和榮譽所環繞著。他的」資訊理論「迅速走紅,而他本人也經常被吹捧為當代最優秀的科學家之一。
香農的資訊理論成為了當時的時髦詞,從地質學到政治學再到音樂學,各個學科都恨不得用它來解釋一切。然而,正在香農風頭最盛的時候,他發表了一篇四段文來呼籲大家減少對他的」吹捧「。
他這么寫道:「(資訊理論)可能有點被過譽了。我們一些在各個領域的同行科學家們被外界對它的贊賞和科學分析的新途徑所吸引,開始用它來解決他們領域內的問題...資訊理論變得有點像萬金油的感覺。」
誠然這樣的情況會讓人感到「愉悅而興奮」,但香農卻建議他的工程師和數學家們要把注意力放回到研究本身。「資訊理論如果是一個商品的話,現在已經是賣出去了——先不管它有沒有被超賣。我們現在應該繼續把注意力投入到盡可能高水平的研究和開發工作上去。」
這並不是因為香農想獨攬成果。相反,他很歡迎那些對資訊理論有效應用的成果,他擔心的只是他開發出來的這些理論被賦予過多超出它們內在價值的意義。
這份聲明在科學界引起了一些回響。這對那些涉世未深的年輕人、以及那些以實際行動大力鼓吹資訊理論的人來說意味深遠。但對他來說,最重要的是回歸真實——這是他對真誠、嚴肅的科學研究的承諾,而這終將給他帶來聲譽。
換句話說:香農並沒有積極地推廣他的想法,而且我們認為他也不擅於此。但他確實沒有必要去做,因為他的想法是如此的出眾而獨特,人們自然就會為之吸引。
這對我們的啟發是什麼?我們難道不都認為自己的工作是出眾而獨特的嗎?可能我們的想法確實有那麼好,但是香農的研究工作快速爆紅的例子對我們確實好的想法沒有什麼借鑒意義,反而是當我們的想法並不太好而且一直得不到太多關注的時候反而更有借鑒意義,因為可能我們的研究就是還不夠火候,還需要繼續努力。
就像偉大的哲學家Regina George在電影《Mean Girls》中說到的」當我們挖空心思去追求的事情一般都不會發生「。水到自然渠成。
在反思職業生涯中的彎路時,香農坦陳說:「我認為自己的目標從來都不是為了獲獎,雖然我獲了幾十個獎。我的動力更多是源自於好奇心,而不是對財富的渴望。我就是想弄明白事物的組成原理,或者運行規則,或者是否有什麼理論能決定事物的是與非。主要還是因為我想知道這些。」
他並非在誇大其詞。香農經常在被授獎之後推託不願去領取。那些邀請他去演講的信件都被他放到我們前文提到的那個郵件垃圾箱里了。
他這種冷漠的態度還以另外一種方式展示出來:他曾被授予過很多榮譽學位,於是他把那些博士服坎肩掛在一個類似旋轉式領帶架的設備上(這個設備也是他自己做的)。雖然不知道那些頒獎機構會不會不爽,但這表現出了香農對「被贊美」的輕描淡寫的態度。
當然,淡泊名利的行為也是有一定好處的。對香農來說,他得以投身於那些「著名」科學家們不屑於涉足的領域:玩具機器人、國際象棋、雜耍、獨輪單車。他還造出了會玩雜耍球的機器,以及一個在吹奏的時候會噴火的消耗。
數學家一般不願意在一些不夠高大上的問題上投入時間——他們稱之為「幼稚問題」。但香農卻願意做那些真正「幼稚」的事情。而且還屢次三番地在這些可能會讓人感到尷尬的、涉及的問題也比較瑣碎的事情上找到突破。
如果香農一開始就是以諾貝爾獎或國家獎章為目標的話,他還會有心思來做這些事情嗎?也許會吧。但事實上,他對外界成就的淡然處之的態度反而讓他能夠做得更多、走得更遠。
我們承認,這些道理說起來容易,做起來難。我們都不會忽視自己的社會地位,特別是對那些具有雄心壯志的精英來說,要做到淡泊名利是多麼的困難。香農的例子告訴了我們,在這種淡泊名利的背後隱藏著同樣有價值的東西:樂趣與自由。
跟「成就」比起來,「樂趣」可能顯得過於隨意。但「自由」則不同。即使可能有損他的社會地位,香農也毫不在意。他讓自己自由地去探索任何感興趣的學科,某種程度上,這種自由正是源自他從不關心其他人怎麼看待自己。
在我們走在追名逐利的路上時,我們常常會忽略為此付出的自由的代價。放下這些所謂的榮耀,輕松地去生活和學習。
我們有多少人想尋找像香農那樣的突破,但是卻坐等靈感來襲?坐等可能嗎?
著名畫家Chuck Close也有相同的看法,他說,「靈感是給業余愛好者的,我們其他人只是出現並開始工作。 要相信成果會在工作本身中萌芽出來,通過用心工作,你會碰到其他的可能性、打開意料之外的其他的門,如果你只是坐著等著一個偉大的藝術創意出現,那它永遠不會出現「。
香農也是相同的看法,只不過香農尋找的是一個偉大的「科學想法」。這個想法可能來自一場高質量的對話,或者在工作坊中的修修補補,或者來自他大部分生命中那種漫無目的折騰——最重要的是,想法來自於做,而不是等待。
香農告訴他的貝爾實驗室的工程師們,一個偉大科學頭腦的標志並不是秒思如泉湧,而是一種「動機」、「某種想要找到答案的渴望,想要找出事物運行的本質的渴望「。這一根本驅動力是必不可少的:」如果你沒有這些,你可能擁有世界上所有的技能與智慧,(但是)你沒有問題,你就不可能找到答案「。
這個根本驅動力從何而來呢? 香農對這種難以捉摸的品質的表述令人回味,是這樣的:當事情看起來不太正確時,開始有「輕微的惱怒」,或者是「建設性的不滿」。最後,香農對天才的描述也令人耳目一新:天才只是一個把憤懣發泄在有用的地方的人。 而那種有用的刺激一直不會來,直到會在工作中,你偶然發現一些令你煩惱的事情,看起來怪怪的,讓你糾結。
不要逃避那些時刻。 不惜一切代價堅持下去。
那些和香農本人一起共事過人應該會感到很幸運,因為認識了他。而我們雖然只能通過書本來了解他,但也同樣感到幸運。
我最後的想法是:互聯網,數字時代以及所有基礎技術——這些都是非凡的人類成就。 但我們可能很容易地忘記他們的歷史,它們是什麼、它們解決什麼問題、為什麼要解決這些問題、它們為什麼存在、誰創造了它們。我們應該從這些歷史中去學習,沒有歷史就沒有未來。
我們不僅僅只是應該學習已經創造出來的這些東西本身,我們應該理解創造這些東西背後所隱含的精神力量。好奇心以及創造力產生了巨大的創新火花,從而不斷推動世界的前進。這來自於像香農這樣的頭腦,他們從工作中獲取樂趣。
這是值得記住的精神。 更重要的是,我們應該踐行這種精神,發揚這種精神。
原文: https://medium.com/the-mission/10-000-hours-with-claude-shannon-12-lessons-on-life-and-learning-from-a-genius-e8b9297bee8f
8. 香農的資訊理論究竟牛在哪裡
「信息」被定義為一種有別於物質—能源的東西,在需要作出決策的時候,有一個選擇存在於一批選擇之中,在這樣的情況下,信息影響不確定性。因此,信息是不確定性的減少。信息的基本單位是比特,這個詞是「二進制數字」的濃縮。
1948年以後,香農的資訊理論在物理學、生物學和社會科學等學術團體中得到迅速而又廣泛的傳播。資訊理論被普遍引用,這種影響歷時多年經久不衰。香農的(以熵的公式所測度的)信息概念對於傳播學學者來說有著直接的用處。或許這就是為什麼他的理論通常被稱為「信息」理論、而不是「傳播」理論的原因,後者是香農用來表示其理論的術語。
香農的信息概念的普遍性受到了贊揚:通過以定義清晰、但又完全抽象的術語來對待信息,而且適用於所有種類、所有領域的信息。香農資訊理論對目前的通信系統設計和編碼都有不可忽視的指導意義。
9. 關於香農公式帶寬和信噪比
香農定理指出,如果信息源的信息速率R小於或者等於信道容量C,那麼,在理論上存在一種方法可使信息源的輸出能夠以任意小的差錯概率通過信道傳輸。
該定理還指出:如果R>C,則沒有任何辦法傳遞這樣的信息,或者說傳遞這樣的二進制信息的差錯率為1/2。
可以嚴格地證明;在被高斯白雜訊干擾的信道中,傳送的最大信息速率C由下述公式確定:
該式通常稱為香農公式。C是數據速率的極限值,單位bit/s;W為信道帶寬,單位Hz;S是信號功率(瓦),N是雜訊功率(瓦)。
香農公式中的S/N是為信號與雜訊的功率之比,為無量綱單位。如:S/N=1000(即,信號功率是雜訊功率的1000倍)
但是,當討論信噪比時,常以分貝(dB)為單位。公式如下:
換算一下:
公式表明,信道帶寬限制了比特率的增加,信道容量還取決於系統信噪比以及編碼技術種類。香農公式,通信工程學術語,是香農(Shannon)提出並嚴格證明的「在被高斯白雜訊干擾的信道中,計算最大信息傳送速率C公式」:C=B log2(1+S/N)。式中:B是信道帶寬(赫茲),S是信道內所傳信號的平均功率(瓦),N是信道內部的高斯雜訊功率(瓦)。
顯然,信道容量與信道帶寬成正比,同時還取決於系統信噪比以及編碼技術種類。香農定理指出,如果信息源的信息速率R小於或者等於信道容量C,那麼,在理論上存在一種方法可使信息源的輸出能夠以任意小的差錯概率通過信道傳輸。該定理還指出:如果R>C,則沒有任何辦法傳遞這樣的信息,或者說傳遞這樣的二進制信息的差錯率為1/2。
10. 香農公式的相關人物
克勞德·艾爾伍德·香農(Claude Elwood Shannon), 1916年4月30日出生於美國密歇根州,1936年畢業於密歇根大學並獲得數學和電子工程學士學位,1940年獲得麻省理工學院(MIT)數學博士學位和電子工程碩士學位。1941年他加入貝爾實驗室數學部,並一直工作到1972年。在此期間,1956年他成為麻省理工學院(MIT)客座教授,並於1958年成為終生教授。香農於2001年2月24日去世。據傳,香農與大發明家愛迪生有遠親關系。香農的大部分時間是在貝爾實驗室和MIT(麻省理工學院)度過的。1948年至1949年間,他先後發表了《通訊的數學原理》和《雜訊下的通信》,文章闡明了通信的基本問題,給出了通信系統的模型,提出了信息量的數學表達式,並解決了信道容量、信源統計特性、信源編碼、信道編碼等一系列基本技術問題。這兩篇論文被視為資訊理論奠基之作。香農也因此一鳴驚人,被譽為「資訊理論之父」。