[[432543]]

神經網絡是當下計算應用中發展最快，使用最廣的機器學習算法。然而，隨著應用不斷復雜化導致網絡結構不斷擴大，存儲性能瓶頸已逐漸凸顯。

　　在傳統計算平臺上，N個數字比特只能表示 1 個N位數據，然而在量子計算中，M個量子比特卻同時能表示2^M個數據，并能同時操作這些數據。

　　量子計算機如此強大的存儲與計算能力，使其擁有巨大潛能打破神經網絡在傳統計算平臺上的性能瓶頸，獲取量子優勢。

　　量子神經網絡是根據量子計算機的特性設計的神經網絡。具體而言，研究者們根據量子計算機所提供的基本計算單元（即量子邏輯門）進行量子線路設計，以實現神經網絡的計算。

　　今年 1 月，美國喬治梅森大學姜煒文教授在《自然通訊》期刊，提出了第一個神經網絡/量子計算協同設計框架 QuantumFlow。這也是其一年內，繼兩篇《自然電子》后的第三篇 Nature 子刊。

　　https://www.nature.com/articles/s41467-020-20729-5

　　該框架第一次展示了通過協同優化神經網絡結構與量子線路設計，可以較傳統計算機獲得指數級加速。

　　圖 1 基于 QuatnumFlow 量子神經網絡設計棧

　　基于 QuantumFlow，由姜教授帶領的 JQub 團隊在今年 10 月舉行的 QuantumWeek’21 和 ESWEEK’21 中，開源了 QuantumFlow 的量子神經網絡編程框架，QFNN。

　　并在即將召開 ICCAD’21，添加了兩個新成員：

　　（1）第一個對噪聲感知的量子神經網絡訓練器 QF-RobustNN；

　　（2）基于不同量子神經元設計的量子神經網絡結構設計器 QF-Mixer。

　　至此，第一個開源量子神經網絡設計棧橫空出世，為量子神經網絡應用提供了堅實基礎。

QFNN

　　在剛剛結束的 QuantumWeek 會議上，JQub 團隊開源了由胡芷瑞研究員主要參與設計的量子神經網絡（Quantum Neural Network）編程框架，QFNN。

　　https://github.com/JQub/qfnn

　　QFNN 以 Pytorch 和 IBM Qiskit 為基礎，為實現了神經網絡在量子電路進行訓練和推理提供了基礎函數。研究人員可以通過簡單調用少數函數，便可以輕松構建可以在 IBM 量子計算機上進行部署的針對神經網絡推理的量子電路。

　　QFNN 不僅支持 QuantumFlow 的所有功能，同時也支持其它量子神經網絡設計，包括 Variational Quantum Circuits（VQC）。

　　除此之外，QFNN 還提供了量子神經網絡電路相對應的經典計算模擬，可以用于驗證量子神經網絡的正確性以及輔助量子計算機進行模型訓練。

　　圖 2 QuantumFlow 協同設計框架

　　在對 QuantumFlow 的支持上，QFNN 采用與 QuantumFlow 中的結構相同。如圖 2 所示，該框架分為四個模塊，包括 qf_circ，qf_net，qf_fb 和 qf_map。

　　目前 QFNN 支持 QuantumFlow 中的所有模塊，并在 QF-Net 中，加入了對 VQC 等量子電路的支持。

　　利用 QFNN，研究者可以快速搭建量子機器學習電路，在經典計算機上對網絡進行訓練，在量子平臺上進行推理。

　　同時，QFNN 還支持量子網絡結構的探索，即 QF-Mixer。QFNN 在 github 上進行開源，并歡迎有興趣者共同開發，加入更多的基礎量子神經元實現與量子神經網絡實現。

QF-RubostNN

　　在即將于 11 月 1 日召開的 ICCAD 會議上，JQub 團隊提出了首個通過訓練，在量子網絡中學習量子位誤差的研究工作，即 QF-RubostNN。

　　https://arxiv.org/pdf/2109.03430.pdf

　　該研究由梁之鼎博士生主要參與，提出了一個通用的訓練框架來進行錯誤感知學習，這個框架將解決部署神經網絡到近期嘈雜的中級量子（NISQ）時期的核心問題：如何抵抗噪聲對神經網絡推理的影響。

　　雖然量子計算發展非常迅速，但是目前量子比特在量子機器上的錯誤率會達到 10^-2，和經典比特在經典的 CMOS 機器上大約 10^-15 的錯誤率對比無疑是個巨大的差距。

　　對此，JQub 團隊設計了 QF-RubostNN 做出了第一個將噪聲學習到量子神經網絡的嘗試，展示出了量子神經網絡的容錯性：在量子模擬器和 IBM 量子機器上分別運行了 QF-RubostNN，并極大地提升了量子神經網絡的推理精確度。

　　圖 3 QF-RubostNN 產生的總體框架簡圖

　　QF-RobustNN 最上層的訓練權重由量子神經網絡，如 QuantumFlow 產生。在每次循環中的訓練權重會產生對應的量子線路，此時是在邏輯量子位上的邏輯量子線路，經過設計出的特定應用的量子映射，邏輯量子位被映射到物理量子位，由此便有了對應的物理量子線路。

　　再將物理量子線路運行在量子機器或者量子模擬器中，得到模型準確率的輸出，通過訓練框架找到在這時候的噪聲下表現最好的訓練權重，最后將搜索到的訓練權重更新到最上層的訓練權重。

　　這種方法固定初始到結束的邏輯-物理量子映射的規律，使錯誤可以被預估，并且也可以有效減少附加門的數量，從而降低消耗。

　　圖 4 QF-RobustNN 在不同噪聲模型下，對準確率的測量結果

　　QF-RobustNN 采用在 0 噪聲環境（perfect model）下表現最好的訓練權重當作實驗的 Baseline，通過改變模型的 Error rate（噪聲情況）觀察 QF-RobustNN 的實現。

　　在實驗結果中可以看到，經過 QF-RobustNN 的準確率相較 baseline 的情況有所提高，而且值得注意的是，隨著錯誤率增加，QF-RobustNN 對準確率的推動作用更加明顯，最高達到了 28% 的效果。

　　該實驗展示了量子神經網絡學習量子位錯誤的可能性，在 NISQ 時代的量子機器，噪聲是極大的問題與挑戰。實驗結果展示了 QF-RobustNN 的有效性。

QF-Mixer

　　QF-Mixer 是由汪哲鵬博士生主要參與，是第一個探索量子神經網絡設計的文章。

　　https://arxiv.org/pdf/2109.03806.pdf

　　伴隨著量子神經網絡在近年來的蓬勃發展，一系列關于量子神經元 （quantum neuron）設計的工作開始涌現。

　　這些工作通過堆疊各自提出的量子神經元搭建量子神經網絡，在簡單的機器學習任務中 （比如 MNIST 2 分類問題）可以取得較高的準確率。然而，當應用于更復雜的機器學習任務（比如 MNIST 10 分類問題）時，該類量子神經網絡的準確率便會大打折扣。

　　基于這樣的現狀，QF-Mixer 提出了要混合不同種類的現有的量子神經元來構建一個性能更高的異構量子神經網絡。

　　圖 5 混合量子神經元的挑戰與 QF-Mixer 設計理念

　　然而，搭建這樣的異構量子神經網絡并非易事。

　　首先，不同的量子神經元對輸入和輸出的量子態 (quantum state) 有著不同的要求，任意地連接兩類神經元往往無法達到這些預設的要求。

　　其次，不同的神經元在計算上也有著不同的特性和邏輯，更高的準確率未必能通過混合不同神經元達到。只有找到合適的神經元組合，才能起到1+1>2 的效果。

　　針對第一個問題，QF-Mixer 給出了一套在混合不同神經元時需要遵循的準則，這為異構量子神經網絡的設計提供了理論支持。

　　針對第二個問題，JQub 團隊發現 Quantumflow 中的量子神經元和變分量子電路 (Variational Quantum Circuit)有著極為互補的特性。

　　一方面，Quantumflow 中的量子神經元 (QF-量子神經元) 的可學習參數是二值化的，在表達能力上有著較大的限制。變分量子電路的可學習參數則為任意實數。因此，變分量子電路可以為 QF-量子神經元提供更強的表示能力。

　　另一方面， 變分量子電路僅是一個線性分類器，QF-量子神經元則可以輕松地搭建起擁有多個非線性層的量子神經網絡。QF-量子神經元可以幫助變分量子電路構建出更為復雜的模型。

　　基于上述觀察，QF-Mixer 提出了 QF-MixNN，一個混合了 QF-量子神經元和變分量子電路的異構神經網絡框架。QF-MixNN 在遵循了 QF-Mixer 提出的混合準則的同時，也在不同的數據集上展現出了更高的準確率。

　　圖 6 QF-Mixer 在 10 類分類問題取得高精度

　　這一點在圖 6 中的表格中也得以體現。可以看到，在 MNIST 數據集上，QF-量子神經元構成的神經網絡和變分量子電路均表現不佳，分別僅有 52.77% 和 69.92% 的準確率。

　　與此同時， QF-MixNN 則有著相當亮眼的表現。它在 MNIST 上取得了超過 90% 的準確率。對比 QF-量子神經元構成的神經網絡和變分量子電路，準確率的提升分別為 20.7% 和 37.85%。

JQub 團隊介紹

　　姜煒文助理教授于 2021 年加入喬治梅森大學并建立了量子-經典計算機輔助設計實驗室（JQub）。

　　該實驗室致力于研究神經網絡和硬件加速器（包括量子計算機）的協同設計，在量子神經網絡方向，JQub 與圣母大學史弋宇教授，布法羅大學熊瑾珺教授，以及新墨西哥大學楊蕾助理教授合作。

　　并在《自然通訊》期刊，量子計算機周（QuantumWeek），嵌入式系統周（ESWEEK），以及計算機設計會議（ICCAD）上發表多篇文章，并進行在線課程輔導（Tutorial）講座。

作者簡介

[[432544]]

　　項目領導人姜煒文目前是喬治梅森大學助理教授。他于 2019 年獲重慶大學博士學位；2017 年到 2019 年，曾在匹茲堡大學電子和計算機工程系參與研究工作；2019-2021 年，曾在圣母大學做博士后研究助理。

　　博士期間，姜煒文在國際會議和主要期刊上發表了 50 多篇研究論文，其中包括 10 多篇 IEEE/ACM 會刊論文，他在硬件加速和神經網絡結構方面的合作研究獲得了 IEEE TCAD 2021 最佳論文，以及 DAC’19，CODES+ ISSS’19 和 ASP-DAC’20 最佳論文提名。

　　他在神經網絡和并行系統等方面的研究工作引起了業界的廣泛關注，得到了美國國家科學基金會國際自然科學聯合會的科研基金，與 IBM，Facebook、 Edgecortix inc. (日本/新加坡) 等公司開展了合作研究。