清華朱文武組一文綜述GraphDL五類模型

新智元報導

來源：arxiv 編輯：文強，肖琴，金磊

【新智元導讀】今天新智元介紹清華大學朱文武教授組的一篇預印版綜述論文，全面回顧圖(graph)深度學習，從半監督、無監督和強化學習三大角度，系統介紹了GNN、GCN、圖自編碼器(GAE)等5大類模型及其應用和發展。

要說最近學界值得關注的趨勢，圖神經網絡(Graph Neural Network, GNN)或者說圖深度學習(Graph Deep Learning)絕對算得上一個。

昨天，

阿里巴巴達摩院發布2019十大技術趨勢

，其中就包括“超大規模圖神經網絡系統將賦予機器常識”：

單純的深度學習已經成熟，而結合了深度學習的圖神經網絡將端到端學習與歸納推理相結合，有望解決深度學習無法處理的關係推理、可解釋性等一系列問題。強大的圖神經網絡將會類似於由神經元等節點所形成網絡的人的大腦，機器有望成為具備常識，具有理解、認知能力的AI。

此前，新智元曾經報導過清華大學孫茂松教授組對圖神經網絡(GNN)的綜述(arxiv預印版)，全面闡述了GNN及其方法和應用，便於讀者快速了解GNN領域不同模型的動機與優勢。

今天，新智元再介紹另一篇清華大學與GNN有關的綜述，這次是朱文武教授組發布在arxiv的預印版論文Deep Learning on Graphs: A Survey。

在這項工作中，作者全面回顧了應用於圖(graph)的各種深度學習方法，從以下三方面系統闡述這些方法及其差異：

半監督方法，包括圖神經網絡(GNN)和圖卷積網絡(GCN)

無監督方法，包括圖自動編碼器(GAE)

最新進展，包括圖遞歸神經網絡（Graph RNN）和圖強化學習(Graph RL)

從互聯網、供應鏈、化合物的分子結構、感染的傳播途徑，到世界上最複雜的結構——人腦神經系統，都可以用圖(Graph)來表示。

然而，由於圖的特殊性，將其應用於深度學習並非易事。圖深度學習的潛力巨大已無需贅言，想要快速入門並掌握相關線索，這無疑又是一份極好的資料。

作者在論文中寫道，

我們的研究與已有文獻的不同之處在於，我們系統而全面地回顧了Graph的不同深度學習架構，而不是專注於一個特定的分支。

其次，我們關注的是不同的深度學習模型可以如何應用於圖，這與傳統的網絡嵌入不同。後者指將節點嵌入到低維向量空間中，可以被視為圖深度學習的具體例子(而且它們也可以使用非深度學習方法)。

關於網絡嵌入，可以參考朱文武老師組另一篇綜述：Peng Cui, Xiao Wang, Jian Pei, Wenwu Zhu. A Survey on Network Embedding. IEEE TKDE, 2018”

以下是新智元對這篇綜述的摘譯。

三大角度，全面回顧圖深度學習(GraphDL)

在過去10年中，深度學習一直是人工智能和機器學習領域“皇冠上的明珠”，在聲學、影像和自然語言處理中表現出優越的性能。深度學習從底層數據提取複雜模式的表達能力已經得到充分認識。

另一方面，圖(graph)[注1：“圖”(Graphs)也被稱為“網絡”(networks)，本文交替採用這兩個術語] 在現實世界中無處不在，它代表著各種對象及其相互關係，如社交網絡、電子商務網絡、生物網絡和交通網絡。

圖具有複雜的結構，其中包含豐富的潛在價值。

因此，如何利用深度學習方法進行圖數據分析，在過去的幾年裡引起了相當多的研究關注。

這個問題非常重要，因為將傳統的深度學習架構應用到圖中存在幾個挑戰:

不規則域(Irregular domain)。與影像、音頻、文本等具有清晰網格結構的數據不同，圖處於不規則的域中，使得很難將一些基本的數學運算推廣到圖中。例如，卷積神經網絡(CNN)中的基本操作“卷積”和“池化”，在圖數據中並不能直接地定義。這通常被稱為幾何深度學習問題。

不同的結構和任務。圖本身具有複雜的結構。例如，圖可以是異質的或同質的，加權的或不加權的，有符號的或無符號的。此外，圖的任務也有很大的不同，可以是node-focused問題，如節點分類和鏈接預測，也可以是graph-focused問題，如圖分類和圖生成。不同的結構和任務需要不同的模型架構來處理特定的問題。

可擴展性和並行化。在大數據時代，真實的圖很容易就會有數百萬個節點和邊，例如社交網絡或電子商務網絡。因此，如何設計具有線性時間複雜度的可擴展模型，成為一個關鍵問題。此外，由於圖的節點和邊是相互連接的，通常需要作為一個整體進行建模，因此，如何進行並行計算是另一個關鍵問題。

跨學科性。圖常常與其他學科相關聯，例如生物學、化學或社會科學。跨學科性既帶來機遇，也帶來了挑戰：領域知識可以被用來解決特定的問題，但是集成領域知識可能使得模型設計更加困難。例如，在生成分子圖(molecular graphs)時，目標函數和化學約束通常是不可微的，因此不容易應用基於梯度的訓練方法。

為了應對這些挑戰，研究人員在這一領域做出了巨大的努力，產生了豐富的相關論文和方法的文獻。採用的架構也有很大的差異，從監督到無監督，從卷積到遞歸。然而，據我們所知，很少有人系統地總結這些不同方法之間的差異和聯繫。

本文試圖通過對圖深度學習方法進行全面回顧來填補這一空白。

如圖1所示，我們將現有的方法分為三大類：半監督方法、無監督方法和最近的進展。

具體來說，半監督方法包括圖神經網絡(GNN)和圖卷積網絡(GCN)；無監督方法主要有圖自編碼器(GAE)；最近的進展包括圖遞歸神經網絡和圖強化學習。

那麽這些分類有什麽區別呢？先看下這張表：

一些圖深度學習方法的主要區別

從廣義上來看，GNN和GCN是半監督的，因為它們利用節點屬性和節點標簽來針對特定任務端到端地訓練模型參數。

而GAE主要關注學習使用無監督方法的表示。最新提出的方法則使用其他一些獨特算法。

在接下來的部分，我們將詳細介紹這些方法，主要介紹它們的發展歷史，以及這些方法如何解決圖的挑戰。我們還分析了這些模型之間的差異，以及如何組合不同的架構。最後，我們簡要概述了這些方法的應用，並討論了未來的研究方向。

清晰圖表，詳盡闡述 GNN、GCN、GAE等5類模型

圖神經網絡(GNN)

圖神經網絡是圖數據最原始的半監督深度學習方法。

GNN的思路很簡單：為了編碼圖的結構資訊，每個節點可以由低維狀態向量表示。對於以圖為中心的任務，建議添加一個特殊節點，這個節點具有與整個圖相對應的唯一屬性。

回顧過去，GNN統一了一些處理圖數據的早期方法，如遞歸神經網絡和馬爾可夫鏈。

展望未來，GNN中的概念具有深遠的啟示：許多最先進的GCN實際上遵循與鄰近節點交換資訊的框架。事實上，GNN和GCN可以統一到一個通用框架中，GNN相當於GCN使用相同層來達到的穩定狀態。

從概念角度來看，GNN是非常重要的，但它也有幾個缺點：