發布時間：2019-07-03
十二歲的流浪漢Walter Pitts1,2,3 被一群黑幫匪徒追打，躲進了一個圖書館。打手們罵罵咧咧的找了一圈以后走了。Walter卻沒離開，他的注意力完全被一套三卷本的書吸引了：Alfred North Whitehead 與 Bertrand Russell 合著的 Principia Mathematica 。這是作者為純數學提供邏輯基礎的雄心勃勃的大部頭著作，努力構建嚴謹的邏輯構架，把數學命題在自己的構架里一步步推導出來。獨立學習了三年之后，15歲的Walter Pitts寫信給Russell，向Russel指出在第一卷里的幾個錯誤。Russel馬上回信，邀請Pitts去英國學習。Walter沒有去濕冷的英格蘭，而去了芝加哥大學，沒有固定生活來源的他流浪在芝加哥大學的講堂和校園里（很多時間睡在露天的躺椅上）。在進芝加哥大學第一年的時候，芝大的數學教授Carnap出了一本關于邏輯學的新書，那是1938年。Carnap不是泛泛之輩，他關于邏輯悖論的論述是三十年代時最完備的。一天，15歲的Walter Pitts走進Carnap的辦公室，手里拿著寫著自己注釋的Carnap的新書，向Carnap對書中的幾個地方提出尖銳的評論。在開始的震驚之后，Carnap開始反駁，兩人交流了一個小時左右。Walter把書留在Carnap那里，離開了辦公室。由于Pitts沒有介紹自己，于是后來的兩個月里Carnap在芝大里滿世界找“懂邏輯的報童”。
Walter Pitts的故事和其他天才的故事一樣，讓人難以想象，就像莫扎特，王維，馮紐曼，這些年紀輕輕就在自己的領域獨步天下，又似乎全不費力、信手拈來。那么這些天才是否可以人造呢？這個問題在以前也許是很幼稚的，不過現在出現了AlphaGo這類人工智能算法，在棋盤上打敗了幾乎所有的頂級圍棋職業高手，包括柯杰這樣的天才，也許這個問題是可以被容許討論的了。
1942年的時候18歲的Walter認識了University of Illinois 教授Warren McCulloch。Warren熱情好客，當時Walter Pitts無家可歸，于是Warren邀請他住在自己家里。在Walter住進Warren家的當夜，他們就開始合作神經系統如何進行邏輯計算的問題。大概300年前，萊不尼茲證明，任何問題，只要可以用有限數目的詞、完整而沒有歧義的表達出來，就可以用‘邏輯機’(logical machine)計算出來。六年之前， Alan Turning 發表了著名的關于universal computing engine的文章。Walter Pitts和Warren的問題是，如何把神經系統看成這樣一個邏輯機器呢？考慮到當時對腦神經的粗淺而不確定的認識，Warren和Pitts對神經系統的簡化是劃時代的。他們把神經元的狀態簡化為0或1 的二進制表示，用一個連接強度的矩陣來標準神經元之間的相互影響關系，于是在給予一定輸入的情況下，McCulloch-Pitts網絡將根據這個連接矩陣的狀態以及輸入，而決定輸出是什么。他們在1943年出版的"A Logical Calculus of the Ideas Immanent in Nervous Activity."是McCulloch 和Pitts最著名的工作。從控制論角度來講， McCulloch-Pitts網絡本身就是最早的有限自動機（finite automata）之一。這個工作還提供了神經生理問題的邏輯基礎，可以說是最早的計算神經科學成果之一。而這篇文章對于人工智能領域來講，則是開創性的，神經系統的復雜性被高度抽象，并用數學家和工程師容易理解的語言來描述。從此，人工智能開始以獨立的領域而開始其蓬勃發展之勢。
要描繪神經科學與人工智能領域相互借鑒、相互促進的完整畫面，本文的篇幅是不夠的。但是兩個領域都意識到“學習”對于生物和電腦行為的重要性，神經科學發現神經元之間的聯結“突觸”，可以被神經元的活動所改變，這一點很可能是學習的物質基礎；在人工智能領域，人工神經元之間的聯結強度的改變，也是人工神經網絡可以學習的基礎。這一特性，被目前的“深度學習”推到了極致，可以說引起了一個深度學習革命，在網絡搜索、網站過濾、廣告推送、圖像識別、語言翻譯等大量應用都可以找到深度學習的實際應用。其中Geoffrey Hinton做出了突出的貢獻。
Geoffrey Hinton4在英國出生，接受的是基督教學校的教育，雖然早早的就認為基督教神學是完全的廢話5。1982年左右Hinton和Terry Sejnowski一起找到了漂亮的訓練人工神經網絡的方法，從而發明了玻爾茲曼機（Boltzmann machine），在人工智能和計算神經科學領域都有很重要的應用。他還和同行一起推動了BP算法，即反向傳播算法（Back-propagation）的廣泛應用；之后他一直致力于優化人工神經網絡的學習。但是在九十年代到2006之間，人工神經網絡慢慢的淡出了人工智能領域的前沿，也許是由于在實際應用中，人工神經網絡計算結果容易進入局部極小值（Local minimum），找不到全局最小值（Global minimum），從而無法實現對實際問題的求解。但是有時候堅守會得到回報的，Hinton和Yann LeCun，另一位深度學習的奠基人，就是這句話的最好詮釋。他們兩個人都從神經系統的原理得到靈感：LeCun把腦的視覺系統的組織結構擴展到人工神經網絡中，發明了卷積神經網絡，實現了高效的手寫字的識別；而Hinton則把腦皮層中分層的組織原則移植到人工神經網絡中，在2006年發明了深度學習的訓練方法。恰逢計算機能力在2006前后獲得了急速提升，網絡的大量普及使用提供了大規模的數據，使得深度學習得以發揮其多層網絡的優勢，在大數據的訓練和沖擊下，哪些局部極小值消失了，取而代之的是全局最小值。目前，深度學習在很多特定任務，例如人臉識別，圖像中的物體識別，語音識別等應用中的正確率已經超過了人類。Hinton兼職進入Google，而谷歌也收購了“深腦”（DeepMind），這一由系統神經科學家創造的公司，結合深度學習與神經科學中的強化學習（Reinforcement learning）概念，領導的團隊創造了AlphaGo，并在圍棋上戰勝李世石和其他頂級職業高手，也許這是深度學習革命的最好注解6。
開篇的天才故事讓我們講到結束吧。Pitts雖然做出了巨大的貢獻，但他極度排斥社會的正式承認。在芝加哥大學旁聽、而不注冊學生、只是個開始。也許是在Norbert的安排下，MIT要給他一個學位，所有Pitts需要做的事就是簽署一個文件、翻譯一篇德文文章（他懂德文，所以那是小菜一碟）；而他斷然拒絕。后來MIT想要給他一個正式的教職，這回只要Pitts簽署一個文件，同樣被Pitts回絕。Pitts刻意銷毀自己工作的記錄，逃避任何拍照的可能，沒有日記以及信件流傳?？傊?，對于不親身識得他的人，Pitts是躲在霧里的一個謎，無法看清。
但是有趣的事，與Pitts認識的人都會覺著Pitts樂于交流，極好相處，談吐不凡，知識淵博。往往你問他一個科學或者藝術的問題，他可以把這個問題的來龍去脈、前因后果、娓娓道來，講上兩三個小時，聞者不倦。Pitts讓人聯想起電影《海上鋼琴師》中的音樂家，天才飄灑大海，卻又僅局限于一葉扁舟。Pitts人如美玉，卻選擇只是澤被身邊有限的好友。
Pitts在1969年逝世于MIT的寓所里。死的時候身旁沒有一個人。如今，神經元的數學模型被稱為McCulloch–Pitts 神經元。
Pitts的天才和遭遇也許正是目前人工智能還無法企及的能力。深度學習需要“監督學習”，也就是需要提前知道最終答案，從而訓練人工神經網絡。Pitts的創造性思維，在1942年的時候并沒有最終答案，人工智能是否在未來可以創造出這一能力？Pitts的社會能力遠遠不如大多數社會人，那么人工智能在社會行為這一人類特別出色的能力上，能給我們什么樣的驚喜？也許，還是要從神經科學中找到一些關鍵性的原理性靈感，從而拓展人工智能的能力，也讓我們不斷思考人類與計算機在智能上的邊界。
參考文獻：
1. Pitts留世的資料極少，請參見Jim Anderson與Lettvin 的訪談錄： Talking nets， James Anderson and Edward Rosenfeld, 1998, MIT Press.
2. MIT CogNet百科全書中關于Pitts的條目 ：http://cognet.mit.edu/library/erefs/mitecs/lettvin1.html
3. Wikipedia關于Pitts的條目：http://en.wikipedia.org/wiki/Walter_Pitts
4. Hinton的訪談錄：Talking nets， James Anderson and Edward Rosenfeld, 1998, MIT Press.
5. “I was convinced throughout my childhood that the whole Christian ideology at school was just complete rubbish. I’m still convinced of that.” Hinton的訪談錄：Talking nets， James Anderson and Edward Rosenfeld, 1998, MIT Press.
6. 深度學習的介紹有很多，可以從Yann LeCun, Yoshua Bengio 和Geoffrey Hinton2015年在Nature上的“Deep learning”這一綜述開始。
附件下載： 
