超高效人工光電神經(jīng)元成真?速度比自然神經(jīng)元快3萬(wàn)倍,研究登Nature子刊
在人工神經(jīng)網(wǎng)絡(luò)中,被稱(chēng)之為神經(jīng)元的諸多組件被植入數(shù)據(jù)并協(xié)同來(lái)解決諸如人臉識(shí)別等問(wèn)題。神經(jīng)網(wǎng)絡(luò)反復(fù)調(diào)整相互間的突觸——一種神經(jīng)元之間的連接,確定由此產(chǎn)生的行為模式是否為更佳的解決方案。但隨著時(shí)間推移,神經(jīng)網(wǎng)絡(luò)最終會(huì)在計(jì)算的結(jié)果中發(fā)現(xiàn)最佳的行為模式。而后它會(huì)選取這些模式作為默認(rèn)值,模仿人腦的學(xué)習(xí)過(guò)程。
盡管 AI 系統(tǒng)被逐步發(fā)掘更多真實(shí)世界中的應(yīng)用,但鑒于用于驅(qū)動(dòng)其運(yùn)行的硬件局限性,它們?nèi)悦媾R諸多重大挑戰(zhàn)。為了解決這個(gè)問(wèn)題,研究人員已經(jīng)開(kāi)發(fā)出了受人腦啟發(fā)的神經(jīng)形態(tài)計(jì)算機(jī)硬件。
例如,神經(jīng)形態(tài)的微芯片組件可能僅會(huì)在一定時(shí)間內(nèi)接受到特定數(shù)量的輸入信號(hào)時(shí),才可能發(fā)出尖峰信號(hào)或者生成一種輸出信號(hào)。這是一種更接近模擬真實(shí)生物神經(jīng)元行為方式的策略。與典型的人工神經(jīng)網(wǎng)絡(luò)相比,這些設(shè)備僅發(fā)出極少的尖峰信號(hào),因此所處理的數(shù)據(jù)將會(huì)少得多,同時(shí)原則上所需功率和通信帶寬會(huì)小很多。
然而,神經(jīng)形態(tài)硬件通常使用傳統(tǒng)電子設(shè)備,這最終會(huì)限制它們可實(shí)現(xiàn)的復(fù)雜功能和信號(hào)傳遞速度。舉例來(lái)說(shuō),每個(gè)生物神經(jīng)元都可以擁有數(shù)萬(wàn)個(gè)突觸,但神經(jīng)形態(tài)設(shè)備很難將它們的人工神經(jīng)元相互連接起來(lái)。對(duì)此,一種有效的解決方案就是多路復(fù)用,即一個(gè)信號(hào)通道可以同時(shí)承載更多的信號(hào)。然而,隨著芯片變得更大、更復(fù)雜精細(xì),運(yùn)算速度可能會(huì)遲緩。
在近期一項(xiàng)新研究中,美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)的研究者們探索使用光發(fā)射器和接收器來(lái)連接神經(jīng)元。原則上,光鏈路或光波導(dǎo)能以光速通信速率將每個(gè)神經(jīng)元與數(shù)千個(gè)其他神經(jīng)元連接起來(lái)。相關(guān)論文在《自然 · 電子學(xué)》上發(fā)表。
論文地址:https://www.nature.com/articles/s41928-022-00840-9
研究概覽
研究者使用了能夠檢測(cè)單光子的超導(dǎo)納米線裝置,其中能檢測(cè)到的這些光信號(hào)是最小的單元,可被看作能量效率的物理極限。
如下渲染圖展示了模擬神經(jīng)元突觸(大腦中神經(jīng)元之間的接口點(diǎn))的超導(dǎo)電路如何被用來(lái)創(chuàng)造未來(lái)的人造光電神經(jīng)元。
執(zhí)行光子神經(jīng)計(jì)算通常很棘手,因?yàn)槠湟话愣夹枰梢栽谙喈?dāng)長(zhǎng)時(shí)間內(nèi)捕獲光的光學(xué)腔。在集成微芯片上創(chuàng)建這樣的空腔并將它們與許多波導(dǎo)連接起來(lái)具有極大的挑戰(zhàn)性。
因此,研究者開(kāi)發(fā)了混合電路系統(tǒng),其中每個(gè)探測(cè)器的輸出信號(hào)被轉(zhuǎn)換為約 2 皮秒長(zhǎng)的超快電脈沖。這些脈沖均由超導(dǎo)量子干涉儀網(wǎng)絡(luò)或超導(dǎo)量子干涉儀(SQUID)內(nèi)的單個(gè)磁漲落或磁通量引起。
NIST 的研究員、通訊作者 Jeffrey Shainline 表示,「多年來(lái),我們一直在努力進(jìn)行理論研究工作,希望發(fā)掘出使技術(shù)能夠?qū)崿F(xiàn)神經(jīng)形態(tài)計(jì)算的物理極限的本質(zhì)原理。對(duì)這一目標(biāo)的追求讓我們想到了這個(gè)概念——將單光子能級(jí)的光通信與約瑟夫森結(jié)執(zhí)行的神經(jīng)網(wǎng)絡(luò)計(jì)算相結(jié)合?!?/span>
超導(dǎo)量子干涉儀(SQUID)由一個(gè)或多個(gè)約瑟夫森結(jié)構(gòu)成,是一個(gè)三明治結(jié)構(gòu),上下均為超導(dǎo)材料,中間由絕緣薄膜隔開(kāi)。如果通過(guò)約瑟夫森結(jié)(Josephson junction, JJ)的電流超過(guò)某個(gè)特定的閾值,超導(dǎo)量子干涉儀就將開(kāi)始產(chǎn)生磁通量。
在感應(yīng)到一個(gè)光子后,單光子探測(cè)器(single-photon detector, SPD)就會(huì)產(chǎn)生磁通量子,而后這些通量子就會(huì)在 SQUID 的超導(dǎo)回路中作為電流被收集。這種存儲(chǔ)的電流可以作為一種記憶形式,記錄神經(jīng)元發(fā)出了多少次尖峰信號(hào)。
下圖 2 為布局和完成的電路。a 為整個(gè)突觸電路的 3D 布局;b 為完成制造的顯微鏡圖像;c 為 SPD 布局;d 為制造中的 SPD;e 為 JJ 和分流電阻的布局;f 為制造中的 JJ 和分流器;g 為用于 DR(dendritic receiving, 樹(shù)突接收)循環(huán)的 SQUID;h 為制造中的 DR SQUID。
Shainline 感嘆道,「讓電路工作起來(lái)其實(shí)相當(dāng)容易。在設(shè)計(jì)階段,制造和實(shí)驗(yàn)花費(fèi)了相當(dāng)多的時(shí)間,但實(shí)際上,在我們第一次制造出這些電路時(shí),它們就已經(jīng)可以開(kāi)始工作了。這預(yù)示著此類(lèi)系統(tǒng)未來(lái)的可擴(kuò)展性非常好?!?/span>
研究者將單光子探測(cè)器與約瑟夫森結(jié)集成在一起,形成了一個(gè)超導(dǎo)突觸。他們計(jì)算出突觸的峰值頻率能夠超過(guò) 1000 萬(wàn)赫茲,同時(shí)每個(gè)突觸事件消耗大約 33 阿托焦耳的能量(1 阿托焦耳等于 10^-18 焦耳)。相比之下,人類(lèi)神經(jīng)元的最大平均峰值速率僅約為 340 赫茲 ,而同時(shí)每個(gè)突觸事件卻將消耗大約 10 飛焦耳(1 飛焦耳等于 10^-15 焦耳)。
下圖 3 展示了單個(gè)突觸的特性,其時(shí)間常數(shù)為 6.25 μs,電感為 2.5 μH。測(cè)量結(jié)果表明實(shí)際值分別為 8.06 μs 和 3.2 μH。
下圖 4 展示了突觸傳遞函數(shù)可以在廣泛的時(shí)間尺度范圍內(nèi)進(jìn)行設(shè)計(jì)。
此外,研究者可以實(shí)現(xiàn)這些電路系統(tǒng)設(shè)備的輸出時(shí)間從數(shù)百納秒變化到毫秒。這也意味著這些硬件可以與一系列系統(tǒng)連接,實(shí)現(xiàn)從高速電子設(shè)備間的通信乃至人機(jī)間更悠閑的交互。
未來(lái),研究者將把他們研發(fā)的新突觸與片上光源相結(jié)合,創(chuàng)造出完全集成的超導(dǎo)神經(jīng)元。Shainline 對(duì)此表示,「實(shí)現(xiàn)完全集成的超導(dǎo)神經(jīng)元仍然存在巨大的挑戰(zhàn),但若我們能夠?qū)⒆詈竽遣糠忠布蛇M(jìn)去,那么非常有理由相信最終它可能會(huì)成為人工智能的強(qiáng)大計(jì)算平臺(tái)。」