AI軍備競賽催生未來AI硬件架構(gòu)發(fā)展3大方向
本文轉(zhuǎn)自雷鋒網(wǎng),如需轉(zhuǎn)載請至雷鋒網(wǎng)官網(wǎng)申請授權(quán)。
隨著人們越來越多地使用 AI 來解決各個領(lǐng)域的問題,一場“ AI 軍備競賽”就此打響,即創(chuàng)造出能夠以更高速度和更低功耗運行深度學(xué)習(xí)模型的專用硬件,以實現(xiàn)翻譯應(yīng)用程序、數(shù)字助手、面部識別系統(tǒng)、內(nèi)容推薦系統(tǒng)等方面的功能,甚至在醫(yī)療保健和自動駕駛等領(lǐng)域取得更大的進步。包括新的芯片架構(gòu)在內(nèi),這場競賽中已經(jīng)有了眾多新突破;而這些突破正在以前所未有的全新方式來執(zhí)行任務(wù)。
針對這一現(xiàn)象,軟件工程師兼科技博客 TechTalks 創(chuàng)始人 Ben Dickson 表示,通過對這些新突破的洞察,我們或許可以對未來幾年里的 AI 硬件架構(gòu)的發(fā)展窺見一二。
以下是 Ben Dickson 的觀點,雷鋒網(wǎng)在不改變原意的基礎(chǔ)上作了編譯和補充。
神經(jīng)形態(tài)芯片
神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的關(guān)鍵,它由成千上萬個人工神經(jīng)元組成。無論是簡單的計算,還是例如圖像識別和語音識別等復(fù)雜的任務(wù),都離不開(人工)神經(jīng)網(wǎng)絡(luò)。然而,目前,人們對傳統(tǒng)計算機的升級并不基于對神經(jīng)網(wǎng)絡(luò)的優(yōu)化,而是基于一個或多個更加強大的中央處理器(CPU)。
神經(jīng)形態(tài)計算機則與傳統(tǒng)計算機不同,因為它使用一種獨特的芯片架構(gòu)來模擬神經(jīng)網(wǎng)絡(luò),即神經(jīng)形態(tài)芯片。該芯片由許多物理形態(tài)的人工神經(jīng)元組成,在訓(xùn)練和運行神經(jīng)網(wǎng)絡(luò)時十分快速高效。
實際上,神經(jīng)形態(tài)計算的概念早在 20 世紀 80 年代就已經(jīng)出現(xiàn),但由于當時神經(jīng)網(wǎng)絡(luò)的效率太低,這個概念并沒有引起太多關(guān)注。近年來,隨著人們對深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的興趣重燃,神經(jīng)形態(tài)芯片的研究也受到了新的關(guān)注。
今年 8 月,頂級學(xué)術(shù)期刊《自然》(Nature)刊登了清華大學(xué)施路平教授團隊的一項研究,該研究還登上了該期的封面。
雜志中名為《面向人工通用智能的異構(gòu)天機芯片架構(gòu)》(Towards artificial general intelligence with hybrid Tianjic chip architecture)的論文介紹道,清華大學(xué)施路平教授的團隊研究出了一款叫作“天機”(Tianjic)的新型人工智能芯片,也就是本文說到的神經(jīng)形態(tài)芯片;它結(jié)合了類腦計算和基于計算機科學(xué)的人工智能。
為了驗證這款全球首款異構(gòu)融合的 AI 芯片,研究團隊設(shè)計了無人智能自行車系統(tǒng)。據(jù)悉,該系統(tǒng)包括了激光測速、陀螺儀、攝像頭等傳感器,剎車電機、轉(zhuǎn)向電機、驅(qū)動電機等致動器,以及控制平臺、計算平臺、天機板級系統(tǒng)等處理平臺。
論文的第一作者,加州大學(xué)圣塔芭芭拉分校博士后鄧磊認為:
比起自動駕駛飛機,智能自行車看起來很小,但實際上它是一個“五臟俱全”的小型類腦技術(shù)平臺......無人自行車系統(tǒng)的語音識別、自主決策、視覺追蹤功能運用了模擬大腦的模型,而目標探測、運動控制和躲避障礙功能運用了機器學(xué)習(xí)算法模型。
雖然沒有直接證據(jù)表明神經(jīng)形態(tài)芯片是創(chuàng)造通用人工智能的正確道路,但它們的研發(fā)肯定會幫助更高效的人工智能硬件誕生。而且,神經(jīng)形態(tài)計算已經(jīng)引起了大型科技公司的注意——今年 7 月,英特爾推出了 Pohoiki Beach,這是一臺裝有 64 塊英特爾 Loihi 神經(jīng)形態(tài)芯片的電腦,能夠模擬總共 800 萬個人工神經(jīng)元;Loihi 處理信息的速度比傳統(tǒng)處理器快 1000 倍,效率比傳統(tǒng)處理器高 10000 倍。
不過,這款神經(jīng)形態(tài)芯片并不適合替代傳統(tǒng)的 CPU 架構(gòu),它的潛力在于加速諸如約束滿足問題、圖形搜索和稀疏編碼等專門應(yīng)用。英特爾還承諾在今年晚些時候?qū)?Pohoiki Beach 擴大到 1 億個神經(jīng)元。
光學(xué)計算
眾所周知,神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)計算需要大量的計算資源和電力,而人工智能的碳足跡已然成為一個環(huán)境問題。在今年 6 月份,研究人員估算表示,訓(xùn)練一個 AI 所產(chǎn)生的碳足跡相當于 284 噸二氧化碳當量,這是普通汽車使用壽命內(nèi)排放量的五倍。與此同時,神經(jīng)網(wǎng)絡(luò)的能源消耗也限制了它們在電力有限的環(huán)境中的應(yīng)用。
隨著摩爾定律繼續(xù)放緩,傳統(tǒng)的電子芯片的發(fā)展想要滿足人工智能行業(yè)的需求變得越來越吃力。目前,已經(jīng)有幾家公司和實驗室將目光轉(zhuǎn)向了光學(xué)計算,以尋求解決方案——光學(xué)計算用光子代替電子,用光學(xué)信號代替數(shù)字信號,從而進行計算。由于光學(xué)計算設(shè)備不像銅電纜那樣產(chǎn)生熱量,這大大降低了它們的能源消耗;光學(xué)計算也特別適用于快速矩陣乘法,這是神經(jīng)網(wǎng)絡(luò)中的關(guān)鍵運算之一。
在過去的幾個月里,已經(jīng)出現(xiàn)了幾款光學(xué) AI 芯片的原型機。總部位于波士頓的 Lightelligence 公司就開發(fā)了一種光學(xué)人工智能加速器,該加速器與當前的電子硬件兼容,通過優(yōu)化一些繁重的神經(jīng)網(wǎng)絡(luò)計算,可以將人工智能模型的性能提高一到兩個數(shù)量級。Lightelligence 的工程師表示,光學(xué)計算的進步也將降低人工智能芯片的制造成本。
最近,香港科技大學(xué)的研究人員開發(fā)了一種全光神經(jīng)網(wǎng)絡(luò)。為了確認這種新方法的能力和可行性,他們構(gòu)建了一個概念驗證模型,即一個具有 16 個輸入和 2 個輸出的完全連接的雙層神經(jīng)網(wǎng)絡(luò),然后使用全光學(xué)網(wǎng)絡(luò)對 Ising 模型的有序和無序階段進行分類。結(jié)果表明,全光學(xué)神經(jīng)網(wǎng)絡(luò)與訓(xùn)練有素的基于計算機的神經(jīng)網(wǎng)絡(luò)一樣準確。
研究小組成員劉俊偉說:
我們的全光學(xué)方案可以使神經(jīng)網(wǎng)絡(luò)以光速執(zhí)行光學(xué)并行計算,而消耗的能量卻很少。大規(guī)模的全光學(xué)神經(jīng)網(wǎng)絡(luò)可以用于從圖像識別到科學(xué)研究的各種應(yīng)用。
大型芯片
雷鋒網(wǎng)注:上圖為 Cerebras 公司的大型芯片
有時,擴大規(guī)模確實是解決問題的好方法。今年 8 月,硅谷初創(chuàng)企業(yè) Cerebras Systems 推出了一款包含 1.2 萬億晶體管的大型人工智能芯片,這也是有史以來最大的半導(dǎo)體芯片;除此之外,它在 42225 平方毫米的面積上擁有 40 萬個內(nèi)核,比 Nvidia 最大規(guī)模的圖形處理器還要大 56.7 倍,后者的尺寸為 815 平方毫米。
這種大型芯片加快了數(shù)據(jù)處理速度,能夠以更快的速度訓(xùn)練人工智能模型——據(jù)悉,Google、Facebook、OpenAI、騰訊,百度以及其他許多公司都認為,當今 AI 的基本局限性在于訓(xùn)練模型花費的時間太長。因此,減少 AI 訓(xùn)練時間可以消除了整個行業(yè)進步的主要瓶頸。與傳統(tǒng)的 GPU 和 CPU 相比,這種超大型芯片的獨特架構(gòu)還減少了能耗。
Linley Group 首席分析師 Linley Gwennap 在一份聲明中說:
Cerebras 的晶片級技術(shù)取得了巨大的飛躍,在單個硅片上實現(xiàn)了遠遠超出任何人想象的處理性能。為完成這一壯舉,該公司甚至解決了一系列困擾工程行業(yè)數(shù)十年的惡性工程挑戰(zhàn)。
Cerebras 最近還與美國能源部簽訂了一份合同,美國能源部將利用該芯片加速科學(xué)、工程和健康領(lǐng)域的深度學(xué)習(xí)研究。
不過,制造出超大規(guī)模的芯片并不意味著萬事大吉。因為芯片的尺寸將會受到使用空間的限制;而且,芯片制造商通常也不會制造這么大規(guī)模的芯片,因為在制造過程中很有可能出現(xiàn)雜質(zhì),從而導(dǎo)致芯片故障。
由于目前各行各業(yè)都在為深度學(xué)習(xí)尋找應(yīng)用場景,單一芯片架構(gòu)主導(dǎo)市場的可能性很小。但可以肯定的是,未來的人工智能芯片很可能與過去數(shù)十年里的經(jīng)典 CPU 不盡相同。