?譯者 | 朱先忠
審校 | 孫淑娟
位于美國波士頓的病理人工智能技術公司PathAI是病理學（疾病研究）人工智能技術工具和服務的領先供應商。他們開發的平臺旨在利用機器學習中的現代方法，如圖像分割、圖神經網絡和多實例學習，大幅提高復雜疾病的診斷準確性和療效評估。
傳統的手工病理學易于出現主觀性和觀察者的變異性，從而對診斷和藥物開發試驗產生負面影響。在深入研究如何使用Pytorch改進診斷工作流程之前，讓我們先介紹一下不依賴機器學習的傳統模擬病理工作流程。
傳統生物制藥的工作原理
生物制藥公司可以通過多種途徑發現新的治療方法或診斷方法。其中一個途徑在很大程度上依賴于通過病理切片的分析來回答各種問題：特定的細胞通信途徑是如何工作的？特定疾病狀態是否與特定蛋白質的存在或缺乏有關？為什么臨床試驗中的特定藥物對某些患者有效，而對其他患者無效？患者治療效果與新的生物標志物之間是否存在關聯？等等。
為了幫助回答這些問題，生物制藥公司一般都是依靠專業病理學家來分析幻燈片，并幫助評估他們可能存在的問題。
正如你可能想象的那樣，需要一位經過專家委員會認證的病理學家才能做出準確的解釋和診斷。在一項研究中，36名不同的病理學家獲得了一個單一的活檢結果，結果出現18種不同的診斷結論，其嚴重程度包括從不需治療到必要的積極治療等各種情形。病理學家也經常在困難的邊緣病例中征求同事的反饋。鑒于問題的復雜性，即使經過專家培訓和合作，病理學家仍很難做出正確的診斷。這種潛在差異可能是被批準的藥物與未通過臨床試驗的藥物之間的差異所致。
PathAI如何利用機器學習推動藥物開發
PathAI公司開發了一系列機器學習模型，旨在為藥物研發、臨床試驗和診斷提供見解。為此，PathAI利用Pytork框架進行幻燈片級推理，使用各種方法，包括圖神經網絡（GNN）和多實例學習等途徑。在這種情況下，“載玻片”是指載玻片的全尺寸掃描圖像，載玻片就是玻璃片，中間有一薄層組織，染色后顯示各種細胞形成物。PyTorch使我們的團隊能夠使用這些不同的方法共享一個通用框架，該框架足夠強大，可以在我們需要的所有條件下工作。此外，PyTorch的高級、命令式和pythonic語法使我們能夠快速原型化模型，然后在得到想要的結果后將這些模型擴展。
千兆圖像的多實例學習
將機器學習技術應用于病理學的一個獨特挑戰是圖像的巨大尺寸。這些數字幻燈片的分辨率通常為100000 x 100000像素或更高，大小為GB級。在GPU內存中加載完整圖像并在其上應用傳統的計算機視覺算法幾乎是不可能的任務。注釋完整的幻燈片圖像（100k x 100k）也需要花費大量的時間和資源，尤其是當注釋者需要的是領域專家（委員會認證的病理學家）時。我們經常建立模型來預測圖像級別的標簽，例如在覆蓋整個圖像數千像素的患者幻燈片上是否存在癌癥。癌變區域有時只是整個幻燈片的一小部分，這使得機器學習問題類似于大海撈針。另一方面，有些問題，如某些組織學生物標志物的預測，需要從整個載玻片中聚集信息，然而由于圖像的尺寸問題，使得這一目標同樣很難實現。當將機器學習技術應用于病理學問題時，所有這些因素都增加了顯著的算法、計算和邏輯復雜性。
將圖像分解為較小的切片（patch），學習切片表示，然后將這些表示合并以預測圖像級標簽是解決此問題的一種方法，如下圖所示。一種常用的方法稱為多實例學習（Multiple Instance Learning，簡稱“MIL”）。每個切片被視為一個“實例”，一組切片形成一個“包”。將單個切片表示匯總在一起，以預測最終的包級標簽。在算法上，包中的單個切片實例不需要標簽；因此，允許我們以弱監督的方式學習包級標簽。它們還使用置換不變池函數，使預測獨立于切片的順序，并允許有效地聚合信息。
通常，使用基于注意力的池功能，不僅可以有效聚合，還可以為包中的每個切片提供注意力值。這些值表明了相應切片在預測中的重要性，可以可視化以更好地理解模型預測。可解釋性的這一要素對于推動這些模型在現實世界中的采用非常重要，我們使用諸如加性MIL模型之類的變體來實現這種空間解釋性。在計算上，MIL模型避免了將神經網絡應用于大尺寸圖像的問題，因為切片表示是獨立于圖像大小獲得的。
在PathAI中，我們使用基于深度網絡的自定義MIL模型來預測圖像級標簽。該過程概述如下：
1.使用不同的采樣方法從幻燈片中選擇切片。
2、基于隨機抽樣或啟發式規則構造一包切片。
3、基于預訓練模型或大規模表示學習模型為每個實例生成切片表示。
4.應用置換不變池函數來獲得最終的幻燈片級別分數。
現在，我們已經了解了Pytork中有關MIL的一些高級細節。接下來，讓我們看看一些代碼，在Pytork中從構思到生產代碼有多么簡單。我們首先定義采樣器、轉換和MIL數據集：
#創建一袋采樣器，從幻燈片中隨機采樣切片
bag_sampler = RandomBagSampler(bag_size=12)
#設置轉換
crop_transform = FlipRotateCenterCrop(use_flips=True)
#創建為每個包加載切片的數據集
train_dataset = MILDataset(
bag_sampler=bag_sampler,
samples_loader=sample_loader,
transform=crop_transform,
)
在定義了采樣器和數據集之后，我們需要定義使用該數據集實際訓練的模型。通過使用大家熟悉的PyTorch模型定義語法很容易做到這一點，同時也允許我們創建定制模型。
classifier = DefaultPooledClassifier(hidden_dims=[256, 256], input_dims=1024, output_dims=1)
pooling = DefaultAttentionModule(
input_dims=1024,
hidden_dims=[256, 256],
output_activation=StableSoftmax()
)
# 定義由特征化器、池模塊和分類器組成的模型
model = DefaultMILGraph(featurizer=ShuffleNetV2(), classifier=classifier, pooling = pooling)
由于這些模型經過端到端的訓練，因此它們提供了一種強大的方法，可以直接從千兆像素的整張幻燈片圖像轉換為單個標簽。由于其廣泛適用于不同的生物問題，其實施和部署的兩個方面很重要：
- 對管道每個部分的可配置控制，包括數據加載器、模型的模塊化部分以及它們之間的交互。
- 通過“形成概念－實現－實驗－產品化”循環能夠快速迭代。
Pytork在MIL建模方面具有各種優勢。它提供了一種直觀的方法來創建具有靈活控制流的動態計算圖，這對于快速研究實驗非常有用。映射風格的數據集、可配置的采樣器和批量采樣器允許我們自定義如何構建切片包，從而實現更快的實驗。由于MIL模型是IO密集型的，數據并行性和pythonic數據加載程序使任務非常高效且用戶友好。最后，PyTorch的面向對象特性支持構建可重用的模塊，這有助于快速實驗、可維護的實現和易于構建管道的組合組件。
在PyTorch中用GNN探索空間組織結構
在健康組織和病變組織中，細胞的空間排列和結構往往與細胞本身一樣重要。例如，在評估肺癌時，病理學家試圖觀察腫瘤細胞的整體分組和結構（它們形成固體薄片嗎？還是以較小的局部簇出現？）來確定癌癥是否屬于差異很大的特定亞型。細胞和其他組織結構之間的這種空間關系可以使用圖建模，以便同時捕捉組織拓撲和細胞組成。圖神經網絡（GNN）允許學習這些圖中與其他臨床變量相關的空間模式，例如某些癌癥中的基因過度表達。
2020年末，當PathAI公司開始在組織樣本上使用GNN時，PyTorch通過PyG包獲得了對GNN功能的最佳和最成熟的支持。這使得PyTork成為我們團隊的自然選擇，因為我們知道GNN模型是我們想要探索的重要機器學習概念。
在組織樣本的背景下，GNN的主要附加值之一是，圖本身可以揭示空間關系，否則僅通過視覺檢查很難找到這些關系。在我們最近的AACR出版論文中，我們指出，通過使用GNN，我們可以更好地了解腫瘤微環境中免疫細胞聚集體（特別是三級淋巴結構，或TLS）的存在對患者預后的影響。在這種情況下，GNN方法用于預測與TLS存在相關的基因表達，并識別TLS區域以外與TLS相關的組織學特征。如果沒有ML模型的幫助，則很難從組織樣本圖像中識別這種對基因表達的見解。
我們成功使用的最有前途的GNN變體之一是自注意力圖池。接下來，讓我們看一下我們是如何使用PyTorch和PyG來定義自注意力圖池（SAGPool）模型的：
class SAGPool(torch.nn.Module):
def __init__(self, ):
super().__init__()
self.conv1 = GraphConv(in_features, hidden_features, aggr='mean')
self.convs = torch.nn.ModuleList()
self.pools = torch.nn.ModuleList()
self.convs.extend([GraphConv(hidden_features, hidden_features, aggr='mean') for i in range(num_layers - 1)])
self.pools.extend([SAGPooling(hidden_features, ratio, GNN=GraphConv, min_score=min_score) for i in range((num_layers) // 2)])
self.jump = JumpingKnowledge(mode='cat')
self.lin1 = Linear(num_layers * hidden_features, hidden_features)
self.lin2 = Linear(hidden_features, out_features)
self.out_activation = out_activation
self.dropout = dropout
在上面的代碼中，我們首先定義一個卷積圖層，然后添加兩個模塊列表層，允許我們傳入可變數量的層。然后，我們獲取空模塊列表，并附加可變數量的GraphConv層，后跟可變數量的SAGPooling層。然后，我們通過添加JumpingKnowledge層、兩個線性層、激活函數和退出值來完成SAGPool定義。PyTorch直觀的語法使我們能夠抽象出使用最先進方法（如SAG池）的復雜性，同時保持我們熟悉的通用模型開發方法。
像我們上面描述的使用一個SAG池這樣的模型只是GNN與PyTorch如何允許我們探索新想法的一個例子。我們最近還探索了多模式CNN-GNN混合模型，其結果比傳統病理學家共識分數高20%。這些創新以及傳統CNN和GNN之間的相互作用，再次得益于從研究到生產的短期模型開發循環。
改善患者預后
總而言之，為了實現我們使用人工智能驅動的病理學改善患者預后的使命，PathAI需要借助于ML開發框架，該框架：（1）在開發和探索的初始階段促進快速迭代和輕松擴展（即模型配置為代碼）（2）將模型訓練和推理擴展到海量圖像（3）輕松可靠地為我們產品的生產使用（在臨床試驗及以后）提供模型。
正如我們在本文中所展示的，PyTorch為我們提供了所有上述功能以及更多功能支持。我們對PyTorch框架的未來感到無比興奮，甚至迫不及待地想看到我們可以使用該框架解決哪些其他有影響力的挑戰。
譯者介紹
朱先忠，51CTO社區編輯，51CTO專家博客、講師，濰坊一所高校計算機教師，自由編程界老兵一枚。早期專注各種微軟技術（編著成ASP.NET AJX、Cocos 2d-X相關三本技術圖書），近十多年投身于開源世界（熟悉流行全棧Web開發技術），了解基于OneNet/AliOS+Arduino/ESP32/樹莓派等物聯網開發技術與Scala+Hadoop+Spark+Flink等大數據開發技術。
原文標題：??Case Study: PathAI Uses PyTorch to Improve Patient Outcomes with AI-powered Pathology???，作者：Logan Kilpatrick, Harshith Padigela, Syed Ashar Javed, Robert Egger?
