AI大覺醒：圖靈獎得主Bengio稱AI將產(chǎn)生意識，未來機器學(xué)習(xí)核心是注意力機制
人工智能會產(chǎn)生意識嗎？
這是一直以來美劇《西部世界》中探討的問題。AI主人公覺醒，意識到這個世界是人類殺伐主宰的樂園，于是開啟了逆襲之路。
在本周舉行的2020年ICLR上，圖靈獎得主、蒙特利爾學(xué)習(xí)算法研究所主任Yoshua Bengio對AI和機器學(xué)習(xí)的未來提供了最新的見解。他講到未來機器學(xué)習(xí)完全有可能超越無意識，向全意識邁進(jìn)。而注意力機制正是實現(xiàn)這一過程的關(guān)鍵要素。
這位大咖2月份剛剛在紐約的2020年AAAI 會議上與圖靈獎獲得者 Geoffrey Hinton 和 Yann LeCun 一起發(fā)表了演講。而在ICLR的演講中，Bengio 闡述了他更早之前的一些想法。
注意力機制是啥？
注意力機制來源于人類的視覺注意力，是人類在進(jìn)化過程中形成的一種處理視覺信息的機制。最簡單的例子，比如看一個圖片，會有特別顯眼的場景率先吸引注意力，因為大腦中對這類東西很敏感。
注意力是神經(jīng)科學(xué)理論的核心，該理論認(rèn)為人們的注意力資源有限，所以大腦會自動提煉最有用的信息。
在機器學(xué)習(xí)的語境下，「注意力」指的是一個算法關(guān)注一個或同時關(guān)注到幾個元素的機制。它是一些機器學(xué)習(xí)模型架構(gòu)的核心。2017年，谷歌論文Attention is All You Need當(dāng)中提出了Transformer，一個利用注意力機制來提高模型訓(xùn)練速度的方法。Transformer在一些特定任務(wù)中性能表現(xiàn)超過Google之前的神經(jīng)機器翻譯模型。
Google Transformer架構(gòu)
目前，注意力模型（Attention Model）已經(jīng)在自然語言處理、圖像識別以及語音識別等領(lǐng)域取得了最先進(jìn)的成果，是深度學(xué)習(xí)技術(shù)中最值得關(guān)注與深入了解的核心技術(shù)之一。注意力模型也是構(gòu)成企業(yè)AI的基礎(chǔ)，幫助員工完成一系列認(rèn)知要求高的任務(wù)。
類比人類思維，靠直覺還是靠推理？
Bengio 在演講中談到了美籍以色列心理學(xué)家兼經(jīng)濟學(xué)家 Daniel Kahneman 在他2011出版的開創(chuàng)性著作《思考，快與慢》中提出的認(rèn)知系統(tǒng)。
第一種認(rèn)知類型是無意識的（快系統(tǒng)），憑直覺，非常快速，非語言性的，基于慣性，它只涉及隱含的知識類型，是人潛意識中的知識，深藏于腦海中。
簡單說，這種過程不費腦子，第一反應(yīng)，直覺地做出回應(yīng)。比如說，思考1+1=2的過程。
當(dāng)然這種直覺思考的過程會產(chǎn)生很多偏差，比如說曝光效應(yīng)，光環(huán)效應(yīng)等。曝光效應(yīng)一個最明顯的例子就是電視廣告，天天重復(fù)播放的信息給你洗腦，會在人的大腦里構(gòu)成曝光效應(yīng)，讓你覺得這個產(chǎn)品好。直覺很多時候是非理性的。
第二種認(rèn)知類型是有意識的（慢系統(tǒng)），基于語言學(xué)和算法，要涉及更高級一些的推理和規(guī)劃，以及顯性的知識。換句話說，是需要費力思考的，比較慢，比如說腦內(nèi)運算158乘以67。
正是快和慢的結(jié)合構(gòu)成了我們?nèi)祟惖乃季S模式。
Bengio將這個人類的有意識思維和AI進(jìn)行對比，他指出，有意識的認(rèn)知系統(tǒng)的一個有趣特征是，它可以在新的情境下，將語義概念進(jìn)行重組，這也是人工智能和機器學(xué)習(xí)算法所具備的特性。
某種程度上，AI和機器學(xué)習(xí)算法比人腦的直覺要更加理性。
這讓人想起《西部世界》的科學(xué)顧問，神經(jīng)學(xué)家大衛(wèi)·伊格爾曼（David Eagleman）說的一句話，意識，是一種突破程序設(shè)定的連接。我們能夠復(fù)制大腦的算法；如果這個算法等同于意識，那意識也理應(yīng)可以被復(fù)制和轉(zhuǎn)移。
意識從無到有，未來AI不再「跟著感覺走」？
目前的機器學(xué)習(xí)方法還沒有完全超越無意識到全意識，但是 Bengio 相信這種轉(zhuǎn)變未來是完全有可能的。
他指出，神經(jīng)科學(xué)研究表明，有意識的思維中涉及的語義變量往往是含有因果關(guān)系的ーー它們涉及的對象可控，比如說意圖。換句話說，不再跟著感覺走，是有邏輯和目的性在其中。
同時，語義變量和思維之間存在映射關(guān)系，例如詞語和句子之間的關(guān)系，而且已有的概念可以進(jìn)行重新組合，形成新的、不熟悉的概念。
注意力正是實現(xiàn)這一過程的核心要素之一，Bengio 解釋道。
在此基礎(chǔ)上，他和同事們在去年的一篇論文中提出了循環(huán)獨立機制(recurrent independent mechanism，RIMs) ，這是一種新的模型架構(gòu)，在這種架構(gòu)中，多組單元獨立運作，相互之間通過注意力機制交流。前者保證了專業(yè)，后者保證了泛化。
實驗?zāi)繕?biāo)是，證明 RIM 能夠改善模型在不同環(huán)境和模塊化任務(wù)中的泛化效果。該研究不關(guān)注該方法是否超出高度優(yōu)化的基線模型，而是想展示該方法面對大量不同任務(wù)時的通用性，且這些任務(wù)的環(huán)境是不斷變化的。
圖 10：RIM 與 LSTM 基線模型的對比。在這 4 個不同實驗中，研究者對比了 RIM 和兩個不同的 LSTM 基線模型。在所有案例中，研究者發(fā)現(xiàn) rollout 過程中，RIM 比 LSTM 更準(zhǔn)確地捕捉到球的運動軌跡。
實驗結(jié)果表明，RIM具備專門化（specialization）特性，可大幅提升模型在大量不同任務(wù)上的泛化性能。
「這使得智能體能夠更快地適應(yīng)分布的變化，或者... ... 推斷出變化發(fā)生的原因，」Bengio 說。
他又講到想要打造「有意識」的AI系統(tǒng)面臨幾大挑戰(zhàn)，包括訓(xùn)練模型進(jìn)行元學(xué)習(xí)(或理解數(shù)據(jù)中的因果關(guān)系) ，以及加強機器學(xué)習(xí)和強化學(xué)習(xí)之間的集成。但他相信，生物學(xué)和AI研究之間的相互作用最終將解開這把神奇的鑰匙，使這些機器可以像人類一樣推理，甚至表達(dá)情感。
「神經(jīng)科學(xué)早已開始研究意識相關(guān)的問題了... ... 在過去的幾十年里取得了很大進(jìn)展。我認(rèn)為現(xiàn)在是時候?qū)⑦@些進(jìn)展納入到機器學(xué)習(xí)模型當(dāng)中了。」Bengio在演講中表示。
看來西部世界中的世界也不遠(yuǎn)了...
