傳奇隕落！ 

人工智能領域的一位傳奇大師，Douglas Lenat于8月31日與世長辭，享年72歲。

Lenat因創(chuàng)建了機器學習程序AM而被授予兩年一度的IJCAI計算機與思想獎（IJCAI Computers and Thought Award）。

他是美國科學人工智能協(xié)會的創(chuàng)始成員之一，也是唯一一位同時在微軟和蘋果的科學顧問委員會任職的專家。

他是美國科學促進會(AAAS)、美國科學人工智能協(xié)會(AAAI)和認知科學學會（Cognitive Science Society）的會員。

他的研究領域包括：符號機器學習、知識表示、「認知經(jīng)濟」（cognitive economy）、 黑板系統(tǒng)（blackboard system）。

作為Cycorp的CEO，以及Cyc項目的首席架構師。他對人工智能和知識表示的貢獻是開創(chuàng)性的。

他的摯友和合作伙伴馬庫斯，在得知他離世的第一時間，寫了一篇長文來悼念他。

這篇感人的文章，介紹了他在人生中的最后時刻，還在奮力工作，希望通過Cyc系統(tǒng)改善大語言模型在常識問題上的表現(xiàn)。

Fridman的播客節(jié)目，也曾經(jīng)采訪過他。

Douglas Lenat的傳奇一生

1950年9月13日，Lenat在賓夕法尼亞州費城出生，5歲時搬家去了特拉華州的威爾明頓。

六年級時，Lenat在學校圖書館發(fā)現(xiàn)了關于Isaac Asimov物理學和生物學的通俗讀物。于是，科學成了他對世界如何運轉(zhuǎn)好奇心的探索渠道。

但在Lenat十二歲半時，他的父親突然離世了，Lenat的家失去了穩(wěn)定的經(jīng)濟來源，開始頻繁搬家。尚且年幼的Lenat把科學當作了一種慰藉，日以繼夜地投入到對知識的探索中。

1968年，Lenat進入了賓夕法尼亞大學，此時，越南戰(zhàn)爭正處于最激烈的階段。Lenat認為前線的士兵人數(shù)嚴重不足，他很可能會被強制應召。

時代的不確定性讓Lenat決定加快在學業(yè)上的進度，他開始同時學習物理和數(shù)學。

但編程仍是Lenat的愛好，在大學期間，Lenat甚至還成功靠編程養(yǎng)活了自己。

他設計和開發(fā)了美國海軍數(shù)據(jù)庫問答系統(tǒng)的自然語言界面，而這個設計成為了美國航空母艦上使用的早期在線艦載操作手冊。

1972年，Lenat獲得了賓夕法尼亞大學數(shù)學和物理學學士學位以及應用數(shù)學碩士學位。

在上大學時，Lenat對物理和數(shù)學感興趣，但最后他并未選擇在這兩個領域中深耕下去。

在John W. Carr III 1971年教授的一門課上，Lenat了解到了人工智能。

于是，畢業(yè)后Lenat來到了斯坦福大學，并在這里獲得了計算機科學博士學位。

提出AM，呼吁AI「常識」研究

在攻讀博士期間，Lenat發(fā)表了Automated Mathematician（AM）的論文。

AM是第一批試圖進行「發(fā)現(xiàn)」的計算機程序之一。也就是說，它是一個定理提出者，而不是定理證明者。

對該程序的試驗促進了批評和改進的循環(huán)，使人們對人類的創(chuàng)造力有了更深刻的理解。

1977年，AM被授予IJCAI計算機和思想獎。AM是邁向通過發(fā)現(xiàn)進行學習的科學、邁向?qū)?chuàng)造性過程去神秘化并證明計算機程序可以做出新穎和創(chuàng)造性發(fā)現(xiàn)的第一步。

1976年，Lenat開始在卡內(nèi)基梅隆大學擔任計算機科學助理教授，并開始了人工智能程序Eurisko的研究工作。

在研究中，Lenat發(fā)現(xiàn)了AM的局限性：它只能遵循一套固定的趣味性啟發(fā)式（interestingness heuristics）方法。

相比之下，Eurisko將其啟發(fā)式規(guī)則表示為第一類對象（first class objects），因此它可以探索、操作和發(fā)現(xiàn)新的啟發(fā)式方法，就像它（與AM）探索、操作和發(fā)現(xiàn)新的領域概念一樣。

1978年，Lenat回到斯坦福大學擔任計算機科學助理教授，繼續(xù)他的研究工作，并建立了Eurisko自動發(fā)現(xiàn)和啟發(fā)式發(fā)現(xiàn)程序。

Eurisko取得了許多有趣的發(fā)現(xiàn)，獲得了巨大的贊譽，Lenat的論文《啟發(fā)式規(guī)則的理論與實驗研究》（Heuretics: Theoretical and Experimental Study of Heuristic Rules）獲得了1982年AAAI會議的最佳論文獎。

Lenat和在施樂PARC工作的John Seely Brown一起于1984年發(fā)表了一份分析AM和Eurisko系列研究的局限性報告。

該報告認為，要想在真正的、通用的、符號化的人工智能領域取得進展，就需要有一個龐大的「常識」知識庫，并對其進行適當?shù)男问交捅硎觥?/span>

還需要有一個推理引擎，能夠通過將該知識庫應用于具體問題和應用，找到數(shù)十或數(shù)百個深層次的結論和論據(jù)。

1984到1994 年期間，Lenat成為了MCC（Microelectronics and Computer Technology Corporation）的首席科學家，不過在這之后，他仍繼續(xù)回到斯坦福大學，每年教授大約一門課程。

在400人的MCC，萊納特能夠讓幾十名研究人員而不僅僅是幾名研究生研究「常識」知識庫。

馬庫斯發(fā)文悼念

作為學術領域的戰(zhàn)友，馬庫斯在得知Lenat離世的消息后第一時間，寫了一篇長文，悼念自己好友。

https://garymarcus.substack.com/p/doug-lenat-1950-2023

Douglas Lenat是我見過最聰明，最直率，最聰明的人之一。

如果說Marvin Minsky、John McCarthy和Allen Newell等人是第一批深入思考符號人工智能(symbolic AI)如何運作的人，那么Douglas就是第一個努力讓這個系統(tǒng)真正運轉(zhuǎn)起來的人。

我的整個職業(yè)生涯都在宣揚神經(jīng)網(wǎng)絡和符號人工智能之間的一致性。

而Lenat領先了我好幾光年，他不僅比我更深入地挖掘了這些戰(zhàn)壕，而且是這些戰(zhàn)壕的建筑師。

他在人生的后40年里發(fā)起并主持了一個名為Cyc的項目，想要將所有常識轉(zhuǎn)化成機器可解釋形式的一個項目。

如今很少有人會認真思考人工智能，甚至很少有人知道這個項目是什么。

很多人都認為這個項目并不成功。

因為Cyc（以及Lenat為孵化Cyc而成立的公司Cycorp）從未在商業(yè)上取得很大的反響。

但幾乎沒有人意識到這個項目在40年后仍在運轉(zhuǎn)是一件多么了不起的事情。因為很少有人工智能公司能生存地如此長久。

而我個人的看法是，Cyc既沒有成功，也沒有失敗。它處于成功和失敗的中間狀態(tài)。

它是一個開創(chuàng)性的，旗幟般的實驗，雖然沒有完全成型。

Cyc雖然沒有能引起全世界的關注，但當人類在通用人工智能方面取得真正進展的時候，一定會發(fā)現(xiàn)，它變得越來越重要了。

倒不是說Cyc會替代大語言模型，但是Lenat想要做的事情——讓機器對常識進行表征和推理仍然亟待完成。

Yejin Choi在2023年的TED演講「為什么人工智能如此的不可思議的聰明卻又如此令人震驚的愚蠢」就是關于這個主題的延續(xù)，解釋了為什么目前的AI系統(tǒng)盡管取得了顯著的成功，但是仍然缺乏最基本的常識。

打個比方，Lenat試圖找到一條穿越常識之山的道路。

常識是我們知道的關于世界的數(shù)不清的基本知識，但人類卻很少在語言中把常識表達出來。

Lenat沒有完全成功——需要尋找一條不一樣的道路——但他卻指出了我們必須跨越的那座關鍵的山峰。

這就是Lenat、Choi、Davis和我一直在努力傳達的問題，同時也是大型語言模型一直處理不好的地方。

隨便舉一個例子，今天早上，有人給我發(fā)了封郵件，用Google Bard把事實和明顯的廢話混在一起，用非常流暢的語言表達了出來。

一公斤的磚和兩公斤的羽毛是一樣重的

因為措辭內(nèi)容的差異，使得任何大語言模型對這個問題會給出完全不同的答案。

大語言模型往往能準確地描述和回答一些問題，又會對一些問題講得完全不知所云，經(jīng)常犯一些常識性的錯誤。

它的表現(xiàn)完全取決于不可控的訓練數(shù)據(jù)，以及提問時具體的語言表述。

就算某個錯位被人為的糾正了，依然會難以避免出現(xiàn)其他的常識性錯誤。

Cyc就是在試圖尋找到讓AI能給出更加有深度以及可靠的答案。

正如西北大學人工智能研究員Ken Forbus今天上午在一封電子郵件中對我說的那樣：

「Cyc項目首次證明了符號表示和推理可以擴展到捕捉常識的重要部分。

雖然現(xiàn)在包含數(shù)十億事實的知識庫在行業(yè)中時很常見的事，但Cyc在表達能力方面仍然是最先進的，它能捕捉到人類所能捕捉到的更多思想。

我的團隊幾十年來一直在研究中使用Cyc的表征……我們的領域?qū)腃yc項目中學到更多的東西。」

谷歌研究員Muktha Ananda，谷歌學習平臺的主任，今天早上寫信給我表示哀悼：

「我一直非常欽佩Lenat的遠見、毅力和堅韌。 他在Cyc上的工作對我自己的知識圖譜的一個很大的靈感來源。」

在過去的一年里，Douglas和我試圖寫一篇又長又復雜的論文，但我們一直沒能完成。

Cyc涉及的范圍是令人敬畏的，但卻很難實現(xiàn)。

從學術角度來看，Cyc最大的問題是它的專有性（proprietary）。

為了幫助更多的人了解Cyc，我試著從他身上找出Douglas從Cyc身上學到的經(jīng)驗教訓，供未來的研究人員參考。

我們希望回答，Cyc的作用原理是什么？為什么有時候又完全沒有效果。

我們寫了將近4萬字的內(nèi)容，還沒有完全來得及整理成通順的論文，但內(nèi)容卻充滿了智慧。

其中，一部分是科學論文，一部分是口述的歷史。

不用說，組織和潤色這種長度的內(nèi)容需要花費很長時間。

加上我們還有些一些其他工作要做，所以進展比較緩慢，但是很穩(wěn)定。

而今年，我忙于人工智能政策方面的工作，他卻生病了，導致進展進一步放緩。

快要完成之時，他基于我們倆的工作，寫了一篇更短、更緊湊的論文。

當他意識到時間所剩無幾時，我們決定我來幫他潤色那份較短的手稿。

我們都意識到這可能這是他最后一篇論文的最后一次合作了。

大約六周前，他發(fā)給我的最后幾封郵件中，有一封希望我盡快把論文發(fā)出去。

7月31日，在倉促的修改之后，論文在arXiv上發(fā)布了：

「從生成AI到可信賴AI：大語言模型可以從Cyc中學到什么」

這篇簡短的文章回顧了Cyc想要達到的目的，概括了我們應該從真正的人工智能中得到什么，并嘗試在深刻的符號傳統(tǒng)與現(xiàn)代大型語言模型之間進行折中和調(diào)和。

以他的名義，我希望大家能抽出時間讀一讀這篇論文。

網(wǎng)友悼念

很多網(wǎng)友在得知他去世的消息時，也在網(wǎng)上分享了和他打交道的過程，表示了對大師離世的不舍。

這位網(wǎng)友曾經(jīng)是他Cycorp的員工，分享了一段他慷慨地將自己新車送給員工的軼事。

一位網(wǎng)友對Lenat給予了他改變自己一生的實習機會表達真摯的感謝，并從Lenat身上汲取了很多人生經(jīng)驗。

一位只和Lenat有過「一面之緣」的網(wǎng)友，同樣對他表示了感謝。