谷歌 DeepMind 的 Alpha 系列再添新成員——AlphaGenome，其能夠更全面、準(zhǔn)確地預(yù)測(cè)人類(lèi) DNA 序列中單個(gè)變異或突變，如何影響一系列調(diào)控基因的生物過(guò)程。

AlphaGenome 模型以長(zhǎng)達(dá) 100 萬(wàn)個(gè)堿基對(duì)的 DNA 序列為輸入，預(yù)測(cè)數(shù)千種與其調(diào)控活性相關(guān)的分子屬性，同時(shí)還可以通過(guò)比較變異與未變異序列的預(yù)測(cè)結(jié)果，評(píng)估基因變異或突變的影響。該模型建立在 DeepMind 此前的基因組模型 Enformer 的基礎(chǔ)上，與專(zhuān)注于蛋白編碼區(qū)變異分類(lèi)的 AlphaMissense 模型形成互補(bǔ)。

論文的共同一作 Jun Cheng 在其個(gè)人 X 賬號(hào)上介紹道，「RNA 剪接錯(cuò)誤是許多疾病的常見(jiàn)成因，我們首次構(gòu)建了一個(gè)統(tǒng)一模型，能夠同時(shí)預(yù)測(cè) RNA-seq 覆蓋度、剪接位點(diǎn)、位點(diǎn)的使用情況，以及它們所形成的具體剪接連接點(diǎn)，從而更全面地描繪剪接結(jié)果的全貌」，同時(shí)他也指出，AlphaGenome 的重要突破之一便是「能夠直接從序列預(yù)測(cè)剪接連接點(diǎn)，并將其用于變異效應(yīng)預(yù)測(cè)」。

Memorial Sloan Kettering 癌癥中心 Caleb Lareau 博士也評(píng)價(jià)道，「這是領(lǐng)域內(nèi)的一個(gè)里程碑。我們首次擁有一個(gè)能同時(shí)兼具長(zhǎng)上下文、單堿基精度和頂級(jí)性能的模型，并且覆蓋了廣泛基因組任務(wù)」。目前，DeepMind 已通過(guò) AlphaGenome API 向非商業(yè)研究用戶開(kāi)放 preview 版本，并計(jì)劃在未來(lái)正式發(fā)布該模型。

* 研究論文鏈接：

??https://go.hyper.ai/w9Jes??

基于 100 萬(wàn) DNA 序列及物種信息，采用類(lèi) U-Net 設(shè)計(jì)

如下圖 a 所示，深度學(xué)習(xí)模型 AlphaGenome 以 1 Mb（百萬(wàn)堿基）DNA 序列及物種信息（人類(lèi)/小鼠）作為輸入，用于預(yù)測(cè)涵蓋不同細(xì)胞類(lèi)型的 5,930 條人類(lèi)基因組軌跡或 1,128 條小鼠基因組軌跡，覆蓋 11 種輸出類(lèi)型，包括：

* 基因表達(dá)（RNA-seq、CAGE、PRO-cap）

* 詳細(xì)的剪接模式（剪接位點(diǎn)、剪接位點(diǎn)使用頻率、剪接連接點(diǎn)）
* 染色質(zhì)狀態(tài)（DNase、ATAC-seq、組蛋白修飾、轉(zhuǎn)錄因子結(jié)合）

* 染色質(zhì)接觸圖

AlphaGenome 模型概覽

在模型架構(gòu)方面，AlphaGenome 采用了類(lèi) U-Net 的主干架構(gòu)設(shè)計(jì)，如下圖 a 所示，能夠高效地將輸入序列處理為兩種類(lèi)型的序列表示：

* 一維嵌入（1-dimensional embeddings，分辨率為 1 bp 和 128 bp）：表示線性基因組序列，用于生成基因組軌跡的預(yù)測(cè)；
* 二維嵌入（2-dimensional embeddings，分辨率 2048 bp）：表示基因組片段之間的空間相互作用，用于預(yù)測(cè)成對(duì)的接觸圖。

AlphaGenome 模型總覽

該模型的卷積層用于建模局部序列模式，以支持精細(xì)預(yù)測(cè)；而 Transformer 模塊則用于建模更長(zhǎng)距離的依賴關(guān)系，比如增強(qiáng)子與啟動(dòng)子之間的相互作用。模型可以在完整的 1Mb 序列上進(jìn)行以單堿基為單位的訓(xùn)練，這得益于分布式的序列并行技術(shù)，能夠運(yùn)行在 8 個(gè)互聯(lián)的 TPUv3 設(shè)備上。

在模型訓(xùn)練方面，研究人員采用了兩階段訓(xùn)練，即預(yù)訓(xùn)練（Pre-training）與蒸餾（Distillation）。其中，在預(yù)訓(xùn)練階段，其使用已有的實(shí)驗(yàn)數(shù)據(jù)來(lái)訓(xùn)練兩類(lèi)模型，如下圖 b 所示：

* 折疊特定模型（fold-specific models）：采用四折交叉驗(yàn)證的方式進(jìn)行訓(xùn)練，即在參考基因組中使用 3/4 的區(qū)段進(jìn)行訓(xùn)練，將剩下的 1/4 留作驗(yàn)證和測(cè)試。這些模型用于評(píng)估 AlphaGenome 在未見(jiàn)過(guò)的參考基因組區(qū)段上預(yù)測(cè)基因組軌跡的泛化能力。

* 全折疊模型（all-folds models）：在參考基因組的所有可用區(qū)段上進(jìn)行訓(xùn)練，作為下一蒸餾階段的 Teachers 模型，如下圖 c 所示。

AlphaGenome 訓(xùn)練流程

在蒸餾階段，研究人員訓(xùn)練了一個(gè)共享預(yù)訓(xùn)練架構(gòu)的 Student 模型，其目標(biāo)是利用經(jīng)過(guò)隨機(jī)增強(qiáng)處理的輸入序列，預(yù)測(cè)出多個(gè)全折疊教師模型的綜合輸出。以往研究表明，這種蒸餾模型能夠在一個(gè)模型實(shí)例中同時(shí)實(shí)現(xiàn)更強(qiáng)的魯棒性和更高的變異效應(yīng)預(yù)測(cè)（VEP）準(zhǔn)確性。

得益于這一設(shè)計(jì)，該 Student 模型可以通過(guò)單次設(shè)備調(diào)用完成對(duì)所有模態(tài)和細(xì)胞類(lèi)型的變異效應(yīng)預(yù)測(cè)任務(wù)。在 NVIDIA H100 GPU 上，每個(gè)變異的預(yù)測(cè)用時(shí)不到一秒，使其在大規(guī)模變異效應(yīng)預(yù)測(cè)中相比傳統(tǒng)多模型集成方法表現(xiàn)出極高的效率。

AlphaGenome 在各類(lèi)基因組預(yù)測(cè)任務(wù)中表現(xiàn)領(lǐng)先

據(jù) DeepMind 介紹，AlphaGenome 相較現(xiàn)有方法具備以下獨(dú)特優(yōu)勢(shì)：

長(zhǎng)序列上下文 + 單堿基分辨率

AlphaGenome 可分析長(zhǎng)達(dá)百萬(wàn)堿基的 DNA 序列，并在單堿基級(jí)別做出預(yù)測(cè)。這使其能覆蓋調(diào)控基因的遠(yuǎn)程區(qū)域，同時(shí)捕捉精細(xì)的生物學(xué)細(xì)節(jié)。而此前的模型往往在執(zhí)著于序列長(zhǎng)度與預(yù)測(cè)精度之間平衡，限制了可建模的模態(tài)范圍和準(zhǔn)確度。AlphaGenome 的技術(shù)突破打破了這一局限，其訓(xùn)練僅用原 Enformer 模型一半的計(jì)算資源，僅需 4 小時(shí)即可完成一次訓(xùn)練。

全面的多模態(tài)預(yù)測(cè)能力

高分辨率 + 長(zhǎng)輸入序列的組合，使 AlphaGenome 能預(yù)測(cè)史無(wú)前例的多樣調(diào)控模態(tài)，為研究人員提供更系統(tǒng)的基因調(diào)控信息。

高效的變異打分

AlphaGenome 可在一秒鐘內(nèi)對(duì)變異影響進(jìn)行打分，通過(guò)比較變異前后序列的預(yù)測(cè)差異，并針對(duì)不同模態(tài)使用最合適的總結(jié)方法，它能快速、準(zhǔn)確地評(píng)估基因變異對(duì)分子機(jī)制的潛在影響。

新穎的剪接位點(diǎn)建模

AlphaGenome 創(chuàng)新性地實(shí)現(xiàn)了直接基于序列預(yù)測(cè) RNA 剪接連接點(diǎn)的位置及其表達(dá)水平。許多罕見(jiàn)遺傳病（如脊髓性肌萎縮癥、某些囊性纖維化類(lèi)型）與剪接錯(cuò)誤有關(guān)，該能力為相關(guān)病因研究提供了新工具。

基準(zhǔn)測(cè)試表現(xiàn)優(yōu)異

AlphaGenome 在各類(lèi)基因組預(yù)測(cè)任務(wù)中表現(xiàn)領(lǐng)先。例如預(yù)測(cè) DNA 結(jié)構(gòu)接近區(qū)域、變異對(duì)基因表達(dá)的影響、對(duì)剪接模式的改變等。在 24 項(xiàng) DNA 序列預(yù)測(cè)評(píng)估的 22 項(xiàng)中擊敗現(xiàn)有最佳模型，在 26 項(xiàng)變異效應(yīng)任務(wù)的 24 項(xiàng)中達(dá)到或超過(guò)當(dāng)前最優(yōu)模型。更重要的是，其也是唯一一個(gè)可對(duì)所有評(píng)估模態(tài)進(jìn)行聯(lián)合預(yù)測(cè)的模型，展示了極強(qiáng)的通用性。

具體而言，為了評(píng)估 AlphaGenome 的模型性能，研究人員首先考察了其對(duì)未見(jiàn)基因組區(qū)段的泛化能力，這是實(shí)現(xiàn)高質(zhì)量變異效應(yīng)預(yù)測(cè)的前提。他們共進(jìn)行了 24 項(xiàng)基因組軌跡預(yù)測(cè)評(píng)估，涵蓋了模型所預(yù)測(cè)的全部 11 種模態(tài)。在交叉驗(yàn)證折外評(píng)估（out-of-fold evaluations） 中，研究人員使用了預(yù)訓(xùn)練的折疊特定 AlphaGenome 模型，并將其預(yù)測(cè)結(jié)果與每項(xiàng)任務(wù)中當(dāng)前最強(qiáng)的外部模型進(jìn)行比較。

結(jié)果顯示，AlphaGenome 在這 24 項(xiàng)評(píng)估中的 22 項(xiàng)上表現(xiàn)優(yōu)于對(duì)應(yīng)的外部模型，如下圖 d 所示。值得注意的是，在細(xì)胞類(lèi)型特異的基因表達(dá)變化（log-fold change, LFC）預(yù)測(cè)任務(wù)中，AlphaGenome 相比另一款多模態(tài)序列模型 Borzoi 展現(xiàn)了 +17.4% 的相對(duì)性能提升，如下圖 e 所示。

此外，AlphaGenome 也在各任務(wù)上超越了專(zhuān)注于單一模態(tài)的專(zhuān)業(yè)模型。例如：

在染色質(zhì)接觸圖（contact map）預(yù)測(cè)中，AlphaGenome 超過(guò)了 Orca 模型，表現(xiàn)為接觸圖 Pearson 相關(guān)系數(shù)提升 +6.3%，細(xì)胞類(lèi)型特異差異提升 +42.3%，如下圖 d 所示；

在轉(zhuǎn)錄起始點(diǎn)軌跡預(yù)測(cè)中，AlphaGenome 優(yōu)于 ProCapNet，整體計(jì)數(shù) Pearson 相關(guān)系數(shù)提升 +15%；

在染色質(zhì)可及性預(yù)測(cè)中，AlphaGenome 優(yōu)于 ChromBPNet，在 ATAC-seq 上提升 +8%，在 DNase-seq 上提升 +19%。

* 左圖 d：AlphaGenome 在不同模態(tài)和分辨率的基因組軌跡預(yù)測(cè)任務(wù)中的相對(duì)性能提升（以 % 表示），PA 表示多聚腺苷酸化（polyadenylation）。

* 右圖 e：AlphaGenome 在部分變異效應(yīng)預(yù)測(cè)任務(wù)中的相對(duì)性能提升。

行業(yè)里程碑獲高度評(píng)價(jià)

AlphaGenome 這一重磅模型的推出，從消息發(fā)布之時(shí)就開(kāi)始持續(xù)在推特上引發(fā)各界熱議。

DeepMind 研究副總裁 Pushmeet Kohli 介紹道，「AlphaGenome 通過(guò)預(yù)測(cè) DNA 變異的影響，提供了人類(lèi)非編碼基因組的全面觀點(diǎn)。它將加深我們對(duì)疾病生物學(xué)的理解，并開(kāi)辟新的研究途徑」。評(píng)論區(qū)，除了驚嘆夸贊之外，大家更加關(guān)心如何使用。

一名來(lái)自愛(ài)丁堡大學(xué)遺傳學(xué)的博士生稱(chēng)，「這個(gè)模型或許可以徹底重新定義我們發(fā)現(xiàn)致病突變和藥物靶點(diǎn)的方式，它意義非凡」。

一位生物科學(xué)領(lǐng)域的評(píng)論員稱(chēng)「AlphaGenome 不僅僅是單個(gè)基因，而是整個(gè)調(diào)控基因組。如果把 DNA 比作是代碼，而 AlphaGenome 就是由代碼組成的軟件」。

在實(shí)際應(yīng)用方面，AlphaGenome 具有廣泛的科研潛力，例如面向疾病機(jī)制研究，其可更精確地預(yù)測(cè)基因變異對(duì)調(diào)控過(guò)程的影響，識(shí)別潛在致病變異，揭示新靶點(diǎn)，尤其適合研究具有顯著效應(yīng)的罕見(jiàn)變異。在合成生物學(xué)領(lǐng)域，其能夠指導(dǎo)特定調(diào)控功能的 DNA 設(shè)計(jì)，例如只在神經(jīng)細(xì)胞中激活目標(biāo)基因。在基礎(chǔ)基因組學(xué)研究中，其可以加快關(guān)鍵功能元件的定位與角色定義，幫助識(shí)別調(diào)控特定細(xì)胞類(lèi)型功能所需的「核心指令」。

倫敦大學(xué)學(xué)院 Marc Mansour 教授評(píng)價(jià)道，「在大規(guī)模識(shí)別非編碼變異的作用時(shí)，AlphaGenome 提供了關(guān)鍵的拼圖碎片，讓我們能更好地理解癌癥等復(fù)雜疾病」。目前，AlphaGenome 以面向非商業(yè)用途的研究開(kāi)放，期待學(xué)術(shù)界基于此有更多成果產(chǎn)出。