近年來(lái)，圖已被廣泛應(yīng)用于表示和處理很多領(lǐng)域的復(fù)雜數(shù)據(jù)，如醫(yī)療、交通運(yùn)輸、生物信息學(xué)和推薦系統(tǒng)等。圖機(jī)器學(xué)習(xí)技術(shù)是獲取隱匿在復(fù)雜數(shù)據(jù)中豐富信息的有力工具，并且在像節(jié)點(diǎn)分類和鏈接預(yù)測(cè)等任務(wù)中，展現(xiàn)出很強(qiáng)的性能。

盡管圖機(jī)器學(xué)習(xí)技術(shù)取得了重大進(jìn)展，但大多數(shù)都需要把圖數(shù)據(jù)集中存儲(chǔ)在單機(jī)上。然而，隨著對(duì)數(shù)據(jù)安全和用戶隱私的重視，集中存儲(chǔ)數(shù)據(jù)變的不安全和不可行。圖數(shù)據(jù)通常分布在多個(gè)數(shù)據(jù)源（數(shù)據(jù)孤島），由于隱私和安全的原因，從不同的地方收集所需的圖數(shù)據(jù)變的不可行。

例如一家第三方公司想為一些金融機(jī)構(gòu)訓(xùn)練圖機(jī)器學(xué)習(xí)模型，以幫助他們檢測(cè)潛在的金融犯罪和欺詐客戶。每個(gè)金融機(jī)構(gòu)都擁有私有客戶數(shù)據(jù)，如人口統(tǒng)計(jì)數(shù)據(jù)以及交易記錄等。每個(gè)金融機(jī)構(gòu)的客戶形成一個(gè)客戶圖，其中邊代表交易記錄。由于嚴(yán)格的隱私政策和商業(yè)競(jìng)爭(zhēng)，各個(gè)機(jī)構(gòu)的私有客戶數(shù)據(jù)無(wú)法直接與第三方公司或其它他機(jī)構(gòu)共享。同時(shí)，機(jī)構(gòu)之間也可能有關(guān)聯(lián)，這可以看作是機(jī)構(gòu)之間的結(jié)構(gòu)信息。因此面臨的主要挑戰(zhàn)是：在不直接訪問(wèn)每個(gè)機(jī)構(gòu)的私有客戶數(shù)據(jù)的情況下，基于私有客戶圖和機(jī)構(gòu)間結(jié)構(gòu)信息，來(lái)訓(xùn)練用于金融犯罪檢測(cè)的圖機(jī)器學(xué)習(xí)模型。

聯(lián)邦學(xué)習(xí)（FL）是一種分布式機(jī)器學(xué)習(xí)方案，通過(guò)協(xié)作訓(xùn)練解決數(shù)據(jù)孤島問(wèn)題。它使參與者（即客戶）能夠在不共享其私有數(shù)據(jù)的情況下聯(lián)合訓(xùn)練機(jī)器學(xué)習(xí)模型。因此，將 FL 與圖機(jī)器學(xué)習(xí)相結(jié)合成為解決上述問(wèn)題的有希望的解決方案。

本文中，來(lái)自弗吉尼亞大學(xué)的研究者提出聯(lián)邦圖機(jī)器學(xué)習(xí)（FGML，F(xiàn)ederated Graph Machine Learning）。一般來(lái)說(shuō)，F(xiàn)GML 可以根據(jù)結(jié)構(gòu)信息的級(jí)別分為兩種設(shè)置：第一種是具有結(jié)構(gòu)化數(shù)據(jù)的 FL，在具有結(jié)構(gòu)化數(shù)據(jù)的 FL 中，客戶基于其圖數(shù)據(jù)協(xié)作訓(xùn)練圖機(jī)器學(xué)習(xí)模型，同時(shí)將圖數(shù)據(jù)保留在本地。第二種是結(jié)構(gòu)化 FL，在結(jié)構(gòu)化 FL 中，客戶端之間存在結(jié)構(gòu)信息，形成客戶端圖。可以利用客戶端圖設(shè)計(jì)更有效的聯(lián)合優(yōu)化方法。

論文地址：https://arxiv.org/pdf/2207.11812.pdf

雖然 FGML 提供了一個(gè)有前景的藍(lán)圖，但仍存在一些挑戰(zhàn)：

1、跨客戶端的信息缺失。在具有結(jié)構(gòu)化數(shù)據(jù)的 FL 中，常見(jiàn)的場(chǎng)景是每個(gè)客戶端機(jī)器都擁有全局圖的子圖，并且一些節(jié)點(diǎn)可能具有屬于其他客戶端的近鄰。出于隱私考慮，節(jié)點(diǎn)只能在客戶端內(nèi)聚合其近鄰的特征，但無(wú)法訪問(wèn)位于其它客戶端上的特征，這導(dǎo)致節(jié)點(diǎn)表示不足。

2、圖結(jié)構(gòu)的隱私泄漏。在傳統(tǒng) FL 中，不允許客戶端公開(kāi)其數(shù)據(jù)樣本的特征和標(biāo)簽。在具有結(jié)構(gòu)化數(shù)據(jù)的 FL 中，還應(yīng)考慮結(jié)構(gòu)信息的隱私。結(jié)構(gòu)信息可以通過(guò)共享鄰接矩陣直接公開(kāi)，也可以通過(guò)傳輸節(jié)點(diǎn)嵌入間接公開(kāi)。

3、跨客戶端的數(shù)據(jù)異構(gòu)性。與傳統(tǒng) FL 中數(shù)據(jù)異構(gòu)性來(lái)自 non-IID 數(shù)據(jù)樣本不同，F(xiàn)GML 中的圖數(shù)據(jù)包含豐富的結(jié)構(gòu)信息。同時(shí)，不同客戶的圖結(jié)構(gòu)也會(huì)影響圖機(jī)器學(xué)習(xí)模型的性能。 

4、參數(shù)使用的策略。在結(jié)構(gòu)化 FL 中，客戶端圖使客戶端能夠從其相鄰客戶端獲取信息。在結(jié)構(gòu)化 FL 中，需要設(shè)計(jì)有效的策略，以充分利用由中心服務(wù)器協(xié)調(diào)或完全分散的近鄰信息。

為了應(yīng)對(duì)上述挑戰(zhàn)，研究人員開(kāi)發(fā)了大量算法。目前各種算法主要關(guān)注標(biāo)準(zhǔn) FL 中的挑戰(zhàn)和方法，只有少數(shù)人嘗試解決 FGML 中的具體問(wèn)題和技術(shù)。有人發(fā)表對(duì) FGML 進(jìn)行分類的綜述性論文，但沒(méi)有總結(jié) FGML 中的主要技術(shù)。而有的綜述文章僅涵蓋了 FL 中數(shù)量有限的相關(guān)論文，并非常簡(jiǎn)要地介紹了目前現(xiàn)有的技術(shù)。

而在今天介紹的這篇論文中，作者首先介紹 FGML 中兩種問(wèn)題設(shè)計(jì)的概念。然后，回顧了每種 shezhi 下的最新的技術(shù)進(jìn)展，還介紹了 FGML 的實(shí)際應(yīng)用。并對(duì)可用于 FGML 應(yīng)用的可訪問(wèn)圖數(shù)據(jù)集和平臺(tái)進(jìn)行總結(jié)。最后，作者給出了幾個(gè)有前途的研究方向。文章的主要貢獻(xiàn)包括：

FGML 技術(shù)分類：文章給出了基于不同問(wèn)題的 FGML 分類法，并總結(jié)了每個(gè)設(shè)置中的關(guān)鍵挑戰(zhàn)。

全面的技術(shù)回顧：文章全面概述了 FGML 中的現(xiàn)有技術(shù)。與現(xiàn)有其它綜述性論文相比，作者不僅研究了更廣泛的相關(guān)工作，而且提供了更詳細(xì)的技術(shù)分析，而不是簡(jiǎn)單地列出每種方法的步驟。

實(shí)際應(yīng)用：文章首次總結(jié) FGML 的實(shí)際應(yīng)用。作者根據(jù)應(yīng)用領(lǐng)域?qū)ζ溥M(jìn)行分類，并介紹每個(gè)領(lǐng)域中的相關(guān)工作。

數(shù)據(jù)集和平臺(tái)：文章介紹了 FGML 中現(xiàn)有的數(shù)據(jù)集和平臺(tái)，對(duì)于想在 FGML 中開(kāi)發(fā)算法和部署應(yīng)用程序的工程師和研究人員非常有幫助。

未來(lái)方向：文章不僅指出了現(xiàn)有方法的局限性，而且給出了 FGML 未來(lái)的發(fā)展方向。

FGML 技術(shù)綜述 這里對(duì)文章的主要結(jié)構(gòu)做下簡(jiǎn)介。

第 2 節(jié)簡(jiǎn)要介紹了圖機(jī)器學(xué)習(xí)中的定義以及 FGML 中兩種設(shè)置的概念和挑戰(zhàn)。

第 3 節(jié)和第 4 節(jié)回顧了這兩種設(shè)置中的主流技術(shù)。第 5 節(jié)進(jìn)一步探討了 FGML 在現(xiàn)實(shí)世界中的應(yīng)用。第 6 節(jié)介紹了相關(guān) FGML 論文中使用的開(kāi)放圖數(shù)據(jù)集和 FGML 的兩個(gè)平臺(tái)。在第 7 節(jié)中提供了未來(lái)可能的發(fā)展方向。

最后第 8 節(jié)對(duì)全文進(jìn)行了總結(jié)。更多詳細(xì)信息請(qǐng)參考原論文。