國際學習表征會議 ICLR（International Conference on Learning Representations），被公認為當前最具影響力的機器學習國際學術會議之一。

在今年的 ICLR 2023 大會上，微軟亞洲研究院發表了在機器學習魯棒性、負責任的人工智能等領域的最新研究成果。

其中，微軟亞洲研究院與韓國科學技術院（KAIST）在雙方學術合作框架下的科研合作成果，因出色的清晰性、洞察力、創造力和潛在的持久影響獲評 ICLR 2023 杰出論文獎。

論文地址：https://arxiv.org/abs/2303.14969

VTM：首個適配所有密集預測任務的小樣本學習器

密集預測任務是計算機視覺領域的一類重要任務，如語義分割、深度估計、邊緣檢測和關鍵點檢測等。對于這類任務，手動標注像素級標簽面臨著難以承受的巨額成本。因此，如何從少量的標注數據中學習并作出準確預測，即小樣本學習，是該領域備受關注的課題。近年來，關于小樣本學習的研究不斷取得突破，尤其是一些基于元學習和對抗學習的方法，深受學術界的關注和歡迎。

然而，現有的計算機視覺小樣本學習方法一般針對特定的某類任務，如分類任務或語義分割任務。它們通常在設計模型架構和訓練過程中利用特定于這些任務的先驗知識和假設，因此不適合推廣到任意的密集預測任務。微軟亞洲研究院的研究員們希望探究一個核心問題：是否存在一種通用的小樣本學習器，可以從少量標記圖像中學習任意段未見過的密集預測任務。

一個密集預測任務的目標是學習從輸入圖像到以像素為單位注釋的標簽的映射，它可以被定義為：

其中 H 和 W 分別是圖像的高與寬，輸入圖像一般包含 RGB 三個通道，C_Τ 表示輸出通道的數目。不同的密集預測任務可能涉及不同的輸出通道數目和通道屬性，如語義分割任務的輸出是多通道二值的，而深度估計任務的輸出是單通道連續值的。一個通用的小樣本學習器 F，對于任何這樣的任務 Τ，在給定少量標記樣本支持集 S_Τ（包含了 N 組樣本 X^i 和標注 Y^i）的情況下，可以為未見過的查詢圖像 X^q 產生預測，即：

如果存在適配任意密集預測任務的通用小樣本學習器，那么必須滿足以下期望：

• 首先，它必須具備 e 統一的體系結構。該結構能夠處理任意密集預測任務，并共享大多數任務所需的參數，以便獲取可泛化的知識，從而能以小量樣本學習任意未見過的任務。
• 其次，學習器應該靈活地調整其預測機制，以解決具有各種語義的未見過的任務，同時足夠高效，以防止過度擬合。

因此，微軟亞洲研究院的研究員們設計并實現了小樣本學習器視覺token匹配 VTM（Visual Token Matching），其可用于任意的密集預測任務。這是首個適配所有密集預測任務的小樣本學習器，VTM 為計算機視覺中密集預測任務的處理以及小樣本學習方法打開了全新的思路。該工作獲得了 ICLR 2023 杰出論文獎。

VTM 的設計靈感源于類比人類的思維過程：給定一個新任務的少量示例，人類可以根據示例之間的相似性快速將類似的輸出分配給類似的輸入，同時也可以根據給定的上下文靈活變通輸入和輸出之間在哪些層面相似。研究員們使用基于圖像塊（patch）級別的非參數匹配實現了密集預測的類比過程。通過訓練，模型被啟發出了捕捉圖像塊中相似性的能力。

給定一個新任務的少量標記示例，VTM 首先會根據給定的示例以及示例的標簽調整其對相似性的理解，從示例圖像塊中鎖定與待預測圖像塊相似的圖像塊，通過組合它們的標簽來預測未見過的圖像塊的標簽。

圖1：VTM 的整體架構

VTM 采用分層的編碼器-解碼器架構，在多個層次上實現了基于圖像塊的非參數匹配。它主要由四個模塊組成，分別為圖像編碼器 f_Τ、標簽編碼器 g、匹配模塊和標簽解碼器 h。給定查詢圖像和支持集，圖像編碼器首先會獨立地提取每個查詢和支持圖像的圖像塊級表達。標簽編碼器也會類似地提取每個支持標簽的標記。在每個層次的標記給定后，匹配模塊會執行非參數匹配，最終由標簽解碼器推斷出查詢圖像的標簽。

VTM 的本質是一個元學習方法。其訓練由多個 episode 組成，每個 episode 模擬一個小樣本學習問題。VTM 訓練運用到了元訓練數據集 D_train，其中包含多種有標簽的密集預測任務示例。每個訓練 episode 都會模擬數據集中特定任務 T_train 的小樣本學習場景，目標是在給定支持集的條件下，為查詢圖像產生正確的標簽。通過多個小樣本學習的經驗，模型能夠學習到通用的知識，以便快速、靈活地適應新的任務。在測試時，模型需要在訓練數據集 D_train 中未包含的任意任務 T_test 上進行小樣本學習。

在處理任意任務時，由于元訓練和測試中的每個任務的輸出維度 C_Τ 不同，因此使得為所有任務設計統一的通用模型參數成為了巨大挑戰。為了提供一個簡單而普適的解決方案，研究員們將任務轉換為 C_Τ 個單通道子任務，分別學習每個通道，并使用共享的模型 F 獨立地對每個子任務進行建模。

為了測試 VTM ，研究員們還特別構建了 Taskonomy 數據集的一個變種，從而模擬未見過的密集預測任務的小樣本學習。Taskonomy 包含各種標注過的室內圖像，研究員們從中選擇了十個具有不同語義和輸出維度的密集預測任務，將其分為五部分用于交叉驗證。在每個拆分方式中，兩個任務用于小樣本評估（T_test），其余八個任務用于訓練（T_train）。研究員們仔細構造了分區，使得訓練和測試任務彼此有足夠的差異，例如將邊緣任務（TE，OE）分組為測試任務，以便對新語義的任務進行評估。

表1：在 Taskonomy 數據集上的定量比較（ Few-shot 基線在訓練了來自其他分區的任務后，在需測試的分區任務上進行了 10-shot 學習，其中完全監督的基線在每個 fold（DPT）或所有 fold（InvPT）上訓練和評估了任務）

表1和圖2分別定量與定性地展示了 VTM 和兩類基線模型在十個密集預測任務上的小樣本學習性能。其中，DPT 和 InvPT 是兩種最先進的監督學習方法，DPT 可獨立地針對每個單一任務進行訓練，而 InvPT 則可以聯合訓練所有任務。由于在 VTM 之前還沒有針對通用密集預測任務開發的專用小樣本方法，因此研究員們將 VTM 與三種最先進的小樣本分割方法，即 DGPNet、HSNet 和 VAT，進行對比，并把它們拓展到處理密集預測任務的一般標簽空間。VTM 在訓練期間沒有訪問測試任務 T_test，并且僅在測試時使用了少量（10張）的標記圖像，但它卻在所有小樣本基線模型中表現得最好，并且在許多任務中的表現都具備與全監督基線模型比較的競爭力。

圖2：在 Taskonomy 的十個密集預測任務中，在新任務上僅提供十張標記圖像的小樣本學習方法的定性比較。在其他方法失敗的情況下， VTM 成功地學習了所有具有不同語義和不同標簽表示的新任務。

在圖2中，虛線上方的分別是真實標簽和兩種監督學習方法 DPT 和 InvPT。虛線下方的是小樣本學習方法。值得注意的是，其他小樣本基線在新任務上出現了災難性的欠擬合，而 VTM 成功地學習了所有任務。實驗說明，VTM 可以在極少量的標記示例（<0.004％的完全監督）上現表現出與完全監督基線類似的競爭力，并能夠在相對較少的附加數據（0.1％的完全監督）下縮小與監督方法的差距，甚至實現反超。

總結來說，盡管 VTM 的底層思路非常簡單，但它具有統一的體系結構，可用于任意密集預測任務，因為匹配算法本質上包含所有任務和標簽結構（例如，連續或離散）。此外，VTM 僅引入了少量的任務特定參數，就能具備抗過擬合性與靈活性。未來研究員們希望進一步探究預訓練過程中的任務類型、數據量、以及數據分布對模型泛化性能的影響，從而幫助我們構建一個真正普適的小樣本學習器。