[[432064]]

長期以來，深度學習和人工神經網絡的靈感被很多學者認為是來自人類的大腦。

比如，神經元之間的連接在人工神經網絡中，是用節點之間的權重表示的。正值表示興奮性連接，負值表示抑制性連接。

所有輸入都通過權重進行加權并求和（線性組合），然后，通過激活函數控制值域輸出。例如，可接受的輸出范圍通常在0和1之間，也可以在-1和1之間。

在某種意義上，人工神經網絡確實粗淺地模仿了大腦底層神經元的活動。

算力「陷阱」

2016年，AlphaGo橫空出世，以4:1擊敗了李世石，技驚四座。但不能忽視的是，DeepMind訓練AlphaGo時，大概花費了3500萬美元！

后來，DeepMind想訓練一個玩《星際爭霸II》游戲的模型（后來的AlphaStar），就嘗試了非常多的方式構建模型，但最后的訓練成本還是太高了。

近年來，在自然語言處理領域又開啟了一股「大模型」的熱潮。

2018年，谷歌提出3億參數BERT模型驚艷四座，將自然語言處理推向了一個前所未有的新高度。

緊接著，OpenAI在2019年初推出15億參數的GPT-2，英偉達推出威震天（Megatron-LM）83億參數，谷歌T5模型110億參數，微軟圖靈Turing-NLG模型170億參數。

這些模型一次次不斷地刷新參數規模的數量級，而2020年GPT-3的出現成為這一數量級的分界線。

GPT-3，1750億參數，參數規模達到千億級別，直逼人類神經元的數量，能作詩、聊天、生成代碼等等。

就在近日，微軟和英偉達聯手發布了Megatron-Turing自然語言生成模型(MT-NLG)，5300億參數，同時奪得單體Transformer語言模型界「最大」和「最強」兩個稱號。

這種對于模型參數和訓練算力的極致追求，究竟是通往AGI的「必經之路」，還是大公司強調技術實力的「趨之若鶩」呢？

MIT一項最新的研究可能給出了答案。

計算=認知？No!

人類的認知可能與計算沒有任何關系。

心智的計算理論（The Computational Theory of Mind）是一個根深蒂固的理論，從上世紀40年代早期芝加哥的 Warren McCulloch 和 Walter Pitts 的工作開始，后來在MIT，Jerome Lettvin 和 Humberto 也加入對這個問題的研究。

大腦的判斷是基于計算，很多人都會這么認為。

但在人類歷史的進程中，許多錯誤理論有時會流行長達數十年之久。

你以為的就是你以為的嗎？

比如燃燒的「燃素」理論。從 1667 年起的一個多世紀里，大多數科學家都認為，不同物質之所以能夠燃燒，是因為一種常見的物質，這種物質后來被稱為「燃素」。

燃素可以通過火消散到空氣中。空氣吸收燃素的能力是有限的，所以如果只有少量空氣可用，火就會熄滅。

直到 19 世紀末，在解釋和描述宇宙中可以直接觀察的對象的運動規律上，牛頓的經典物理學還占據著統治地位。但到了 20 世紀初，愛因斯坦的理論引發了兩次革命，相對論和能量都被量子化了，并產生了新的學科：量子力學。

100 多年后，基于量子力學的成果仍在不斷出現，比如量子計算機和量子通信，可能讓今天的最先進的數據加密技術變得一文不值。

在過去的 30 年里，人們一直認為阿爾茨海默病的機制是淀粉樣蛋白斑塊在大腦中的積累，因為觀察發現，患阿爾茨海默病的人的大腦中總是有這種斑塊。

直到最近，人們才發現，使用降低淀粉樣蛋白斑塊的藥物進行的試驗并未緩解阿爾茨海默病的病情。

現在認為，淀粉樣斑塊是阿爾茨海默病的副作用，而不是病因。過去對阿爾茨海默病病因研究的替代方法投入不夠，此類研究經常在同行評議中被視為「非主流」。

長期存在的科學理論可能經常被取代，隨著時間的推移，任何特定科學領域的理論，有時都會因為存在根本錯誤而被淘汰。

意識來源新假說：「自我組織」

我們現在都假設智能、思想、認知，這些都是計算的產物。

神經科學計算目前是人類理解這些現象的最普遍方式。神經科學的對應研究對象就是人工智能，而要構建一個智能系統，就要編寫計算機程序。

1956年，約翰·麥卡錫 (John McCarthy) 在達特茅斯人工智能研討會上首次提出了「人工智能」一次，他在會議報告的第一頁就明確提出了這一立場。

也許有意識的體驗來自某種「自我組織」。而計算主義，可能根本不是我們應該專注的技術核心。

新的衛星發射企業并不能主要通過編程將人們送入太空。雖然在發射過程中會涉及到很多計算機程序，但核心機制是在助推器中用氧氣燃燒不含燃素的火箭燃料，并化為對火箭的推力。

Python 腳本本身無法完成工作。同樣，只憑計算機計算出原子應該所處的位置和狀態，并不會產生結晶，結晶是作為「自我組織」的原子在相互作用力下的產物。

人的大腦內部大量存在二維神經元。研究人員很久以前就確定，這些地方的神經活動可以非常準確地與感官刺激相對應。許多研究人員將這些神經行為描述為「計算的結果」。

他們認為，這些計算是我們能夠有意識地體驗世界的原因。

但也許這都是錯誤的。也許這些有意識的體驗來自某種「自我組織」（self-organization）。我們與這些感覺相關的計算可能只是我們自己的發明，用來解釋感覺機制，但實際上并不是產生感覺的主要原因。

當然，以目前的思維方式來說，這個說法聽起來確實挺讓人毛骨悚然的。