神經(jīng)形態(tài)計(jì)算何時(shí)帶領(lǐng)我們進(jìn)入 AI 新時(shí)代?
本文轉(zhuǎn)自雷鋒網(wǎng),如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。
十年前,有這樣一個(gè)問題:軟硬件是否可以像生物大腦一樣工作?
如今,這個(gè)問題的回答是“可以”,但行業(yè)面臨的挑戰(zhàn)是,如何利用神經(jīng)形態(tài)技術(shù)開發(fā)的歷史、如何應(yīng)對(duì)緊迫的、甚至是生死攸關(guān)的計(jì)算挑戰(zhàn)?
就這一話題,科技作者 William Van Winkle 在外媒 VentureBeat 發(fā)表了一篇文章,主要觀點(diǎn)包括:
-
行業(yè)合作和原型基準(zhǔn)正在推進(jìn)數(shù)十年來在實(shí)時(shí)計(jì)算視覺、語音識(shí)別、物聯(lián)網(wǎng)、自動(dòng)駕駛和機(jī)器人技術(shù)等領(lǐng)域的實(shí)際應(yīng)用研究。
-
神經(jīng)形態(tài)計(jì)算可能會(huì)以低功耗和高效率補(bǔ)充 CPU、GPU 和 FPGA 技術(shù),用于包括學(xué)習(xí)、搜索和感知在內(nèi)的一些任務(wù)。
-
行業(yè)對(duì)其的預(yù)測(cè)千差萬別,比如預(yù)測(cè)全球神經(jīng)形態(tài)計(jì)算市場(chǎng) 2028 年復(fù)合增長(zhǎng)率在 12% 到 50% 之間。
以下是雷鋒網(wǎng)未改變文章原意的編譯。
從潛在,到實(shí)際
2020 年 7 月,美國(guó)能源部橡樹嶺國(guó)家實(shí)驗(yàn)室主辦了第三屆神經(jīng)形態(tài)系統(tǒng)國(guó)際年會(huì)(ICONS),來自世界各地的 234 名研究人員參與了此次線上活動(dòng),與會(huì)者規(guī)模幾乎是去年的 2 倍。
會(huì)議期間,一篇題為《用基于尖峰的模型模擬流行病傳播》的論文探索了使用神經(jīng)形態(tài)計(jì)算來減緩潛在感染群體的患病幾率。無疑,如果一個(gè)更好、更精準(zhǔn)的模型可以指導(dǎo)國(guó)家政策、拯救無數(shù)人的生命,那么這樣的研究就是至關(guān)重要的。
這一會(huì)議反映了一項(xiàng)仍處于萌芽狀態(tài)的技術(shù)及其生態(tài)。研究人員對(duì)神經(jīng)形態(tài)計(jì)算的潛力表示肯定,但迄今為止,大多數(shù)進(jìn)展都只發(fā)生在學(xué)術(shù)機(jī)構(gòu)、政府和企業(yè)的實(shí)驗(yàn)室里,似乎已經(jīng)準(zhǔn)備好改變了。
研究機(jī)構(gòu) Sheer Analytics & Insights 預(yù)測(cè),2020 年全球神經(jīng)形態(tài)計(jì)算市場(chǎng)將達(dá)到 2990 萬美元,未來 8 年復(fù)合增長(zhǎng)率為 50.3%,2028 年將達(dá)到 7.8 億美元。
與之形成鮮明對(duì)比的是——2018 年 KBV 研究報(bào)告預(yù)測(cè),2023 年全球神經(jīng)形態(tài)計(jì)算市場(chǎng)復(fù)合增長(zhǎng)率為 18.3%,即 37 億美元;Mordor Intelligence 則預(yù)測(cè),2019 年全球神經(jīng)形態(tài)計(jì)算市場(chǎng)為 1.11 億美元,復(fù)合年增長(zhǎng)率為 12%,到 2025 年將達(dá)到 3.66 億美元。
顯然,預(yù)測(cè)各不相同,但大幅增長(zhǎng)的趨勢(shì)卻是可能的,這一市場(chǎng)的主要參與者包括英特爾、IBM、三星和高通。
當(dāng)前,研究人員關(guān)心的一個(gè)話題是,神經(jīng)形態(tài)計(jì)算首先會(huì)落地哪一領(lǐng)域。答案很有可能是視覺、語音識(shí)別;自動(dòng)駕駛也可從類似人類的學(xué)習(xí)中獲益,避免出現(xiàn)人類的分心或認(rèn)知錯(cuò)誤;從工廠到戰(zhàn)場(chǎng),物聯(lián)網(wǎng)的機(jī)會(huì)到處都有。
不論如何可以肯定的是,神經(jīng)形態(tài)計(jì)算不會(huì)取代 CPU 和 GPU,相反,兩種計(jì)算方法將是一個(gè)互補(bǔ)的關(guān)系,每種方法都適合自己的算法和應(yīng)用。
靈感:尖峰和突觸
神經(jīng)形態(tài)計(jì)算始于使用模擬電路來模擬大腦中的突觸結(jié)構(gòu),大腦擅長(zhǎng)通過噪音和學(xué)習(xí)確定模式, 神經(jīng)形態(tài) CPU 擅長(zhǎng)處理離散、清晰的數(shù)據(jù)。
因此,許多人認(rèn)為神經(jīng)形態(tài)計(jì)算可以解決阻礙傳統(tǒng)計(jì)算系統(tǒng)數(shù)十年的問題。一方面,基于 von Neumann 架構(gòu)的處理器必須等待數(shù)據(jù)進(jìn)出系統(tǒng)內(nèi)存。緩存結(jié)構(gòu)有助于減輕這種延遲,但隨著芯片速度的加快,數(shù)據(jù)瓶頸愈發(fā)明顯。另一方面,神經(jīng)形態(tài)處理器目標(biāo)在于通過模擬大腦的核心工作方式來提供更省電的操作。
神經(jīng)元通過一種被稱為是「尖峰」的脈沖模式相互發(fā)送信息脈沖,其關(guān)鍵在于時(shí)間,時(shí)間本身就傳達(dá)著信息。
我們可將尖峰用一個(gè)比特來表示,與傳統(tǒng)的數(shù)據(jù)通信方法相比,它更高效、更省電。20 世紀(jì) 50 年代,對(duì)尖峰神經(jīng)活動(dòng)的理解和建模出現(xiàn),但接下來的 50 年,基于硬件的計(jì)算應(yīng)用并未開始。
DARPA 開啟富有成效的十年
2008 年,美國(guó)國(guó)防高級(jí)研究計(jì)劃局(DARPA)啟動(dòng)了一個(gè)名為“神經(jīng)形態(tài)自適應(yīng)塑料可擴(kuò)展電子系統(tǒng)”(SyNAPSE)的項(xiàng)目,旨在開發(fā)可擴(kuò)展到生物水平的低功耗電子神經(jīng)形態(tài)計(jì)算機(jī)。該項(xiàng)目的第一階段是開發(fā)模擬大腦突觸活動(dòng)的納米級(jí)突觸,并期待其在微電路結(jié)構(gòu)中發(fā)揮作用。
2009 年,IBM Research 和 HRL Laboratories(通用汽車和波音公司共同擁有)贏得了 SyNAPSE 合同,成為競(jìng)爭(zhēng)對(duì)手。
2011 年,HRL 宣布了第一個(gè)「記憶電阻器」陣列,即一種可應(yīng)用于神經(jīng)形態(tài)計(jì)算的非易失性內(nèi)存存儲(chǔ)形式。兩年后,HRL 打造出了第一個(gè)神經(jīng)形態(tài)芯片 Surfrider——在 50 毫瓦的功率下有 576 個(gè)神經(jīng)元。
研究人員將芯片安裝在一架配備光學(xué)、紅外和超聲波傳感器的不足 100 克的無人機(jī)上,并將無人機(jī)送入三個(gè)房間。無人機(jī)通過感官輸入“學(xué)習(xí)”了第一個(gè)房間的布局和內(nèi)部的物品,基于此,它可在新房間“動(dòng)態(tài)學(xué)習(xí)”,或是認(rèn)出曾進(jìn)入過的房間。
2014 年,IBM 在 Science 發(fā)表論文稱,他們制造了有著 54 億個(gè)晶體管的芯片 TrueNorth,4096 個(gè)神經(jīng)突觸核心通過一個(gè)集成了 100 萬個(gè)可編程尖峰神經(jīng)元和 2.56 億個(gè)可配置突觸的芯片相互連接,能以每秒 30 幀的速度輸入 400 × 240 像素的視頻,芯片功耗 63 毫瓦。
該領(lǐng)域的研究并不少見,比如 2009 年斯坦福大學(xué)的模擬突觸方法 NeuroGrid;2015 年歐盟資助的 BrainScaleS 項(xiàng)目;曼徹斯特大學(xué)的 SpiNNaker 神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)超級(jí)計(jì)算機(jī)等等。
神經(jīng)形態(tài)計(jì)算的未來
許多專家認(rèn)為,商業(yè)應(yīng)用將在未來三到五年內(nèi)真正到來,而這也僅僅是個(gè)開始。
2019 年,三星宣布將其神經(jīng)形態(tài)處理單元(NPU)部門的規(guī)模擴(kuò)大 10 倍,原本的 200 名員工將增加到 2030 年的 2000 名員工。原因在于,三星預(yù)計(jì)到 2023 年,神經(jīng)形態(tài)芯片市場(chǎng)的年增長(zhǎng)率將達(dá)到 52%。
神經(jīng)形態(tài)領(lǐng)域的下一個(gè)挑戰(zhàn)將是如何定義標(biāo)準(zhǔn)工作負(fù)載和基準(zhǔn)測(cè)試方法。當(dāng)前,3DMark 和 SPECint 等基準(zhǔn)應(yīng)用發(fā)揮著關(guān)鍵作用,但正如 2019 年 9 月《自然-機(jī)器智能》雜志所討論的那樣,盡管英特爾實(shí)驗(yàn)室提出了一種稱為 SpikeMark 的尖峰神經(jīng)形態(tài)系統(tǒng)的建議,但神經(jīng)形態(tài)領(lǐng)域還是缺少這樣的基準(zhǔn)。
神經(jīng)形態(tài)計(jì)算仍處于研發(fā)階段,如今該領(lǐng)域幾乎沒有任何商業(yè)產(chǎn)品。但越來越明顯的是,某些應(yīng)用非常適合神經(jīng)形態(tài)計(jì)算,神經(jīng)形態(tài)處理器將更快、更省電。不過,CPU 和 GPU 計(jì)算并不會(huì)消失,神經(jīng)形態(tài)計(jì)算只會(huì)出現(xiàn)在其左右,扮演更好、更快、更有效的處理角色,這將是我們從未見過的。