憑借其復(fù)雜的排列和動(dòng)態(tài)功能，蛋白質(zhì)通過(guò)采用簡(jiǎn)單構(gòu)建塊的獨(dú)特排列（其中幾何形狀是關(guān)鍵）來(lái)執(zhí)行大量的生物任務(wù)。將這個(gè)幾乎無(wú)限的排列庫(kù)轉(zhuǎn)化為各自的功能，可以方便研究人員設(shè)計(jì)用于特定用途的定制蛋白質(zhì)。

麻省理工學(xué)院（MIT）的 Markus Buehler 提出了一種靈活的基于語(yǔ)言模型的深度學(xué)習(xí)策略，將 Transformer 與圖神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)，以更好地理解和設(shè)計(jì)蛋白質(zhì)。

「通過(guò)這種新方法，我們可以通過(guò)對(duì)基本原理進(jìn)行建模，利用大自然發(fā)明的一切作為知識(shí)基礎(chǔ)。」Buehler 說(shuō)，「該模型重新組合了這些自然構(gòu)建塊，以實(shí)現(xiàn)新功能并解決這些類型的任務(wù)。」

該模型用于預(yù)測(cè)二級(jí)結(jié)構(gòu)含量（每個(gè)殘基水平和總體含量）、蛋白質(zhì)溶解度和測(cè)序任務(wù)。在逆向任務(wù)上進(jìn)一步訓(xùn)練，該模型能夠設(shè)計(jì)具有這些特性作為目標(biāo)特征的蛋白質(zhì)。模型被制定為一個(gè)通用框架，完全基于提示，并且可以適應(yīng)各種下游任務(wù)。

該研究以「Generative pretrained autoregressive transformer graph neural network applied to the analysis and discovery of novel proteins 」為題，于 2023 年 8 月 29 日發(fā)布在《Journal of Applied Physics》。

多尺度建模為分層生物材料的分析和設(shè)計(jì)提供了強(qiáng)大的基礎(chǔ)。特別關(guān)注構(gòu)成眾多生物和生物衍生材料基礎(chǔ)的蛋白質(zhì)材料。在該分析領(lǐng)域，使用機(jī)器學(xué)習(xí)和相關(guān)方法的數(shù)據(jù)驅(qū)動(dòng)建模已成為一種強(qiáng)大的策略，其中包括分析任務(wù)（例如從序列預(yù)測(cè)屬性）和逆向設(shè)計(jì)任務(wù)（設(shè)計(jì)蛋白質(zhì)或其他生物材料以滿足一組目標(biāo)特性）。

具體來(lái)說(shuō)，生成生物材料科學(xué)是材料發(fā)現(xiàn)的新興前沿，已應(yīng)用于蛋白質(zhì)、有機(jī)分子、無(wú)機(jī)物（包括藥物設(shè)計(jì)）、生物活性材料和建筑材料等；最近，由于語(yǔ)言模型的使用，促進(jìn)了生物蛋白質(zhì)材料多尺度建模的發(fā)展。

圖示：開發(fā)了一種深度語(yǔ)言模型，可以解決正向和逆向蛋白質(zhì)建模問題。（來(lái)源：論文）

麻省理工學(xué)院的研究人員開發(fā)了一種靈活的基于語(yǔ)言模型的深度學(xué)習(xí)策略，應(yīng)用于解決蛋白質(zhì)建模中的復(fù)雜正向和逆向問題；基于注意力神經(jīng)網(wǎng)絡(luò)，將 Transformer 和圖卷積架構(gòu)集成到因果多頭圖機(jī)制中，從而實(shí)現(xiàn)生成預(yù)訓(xùn)練模型 MaterioFormer。該模型能夠在端到端序列到特性預(yù)測(cè)的范圍內(nèi)分析蛋白質(zhì)序列，并生成分子蛋白質(zhì)結(jié)構(gòu)以滿足各種目標(biāo)特性，所有這些都在一個(gè)模型中完成。

該團(tuán)隊(duì)證明，生成語(yǔ)言方法為蛋白質(zhì)材料的發(fā)現(xiàn)和設(shè)計(jì)提供了一個(gè)靈活的平臺(tái)。研究人員可以輕松地將這些模型整合到廣泛的應(yīng)用程序中并解決多個(gè)復(fù)雜的任務(wù)。

圖示：MaterioFormer 模型概述，這是一種基于文本提示輸入構(gòu)建的自回歸變換圖卷積模型，適用于各種任務(wù)。（來(lái)源：論文）

雖然該模型總體上很好地解決了多個(gè)任務(wù)，但使用一次專注于一項(xiàng)任務(wù)的專用模型仍然有一定的優(yōu)勢(shì)（例如，序列到屬性的預(yù)測(cè)或使用擴(kuò)散模型的生成任務(wù)）。例如，在創(chuàng)建滿足特定每個(gè)殘基二級(jí)結(jié)構(gòu)的蛋白質(zhì)序列的設(shè)計(jì)任務(wù)中，MaterioFormer 有時(shí)無(wú)法準(zhǔn)確反映預(yù)測(cè)中所需的長(zhǎng)度。當(dāng)從輸入蛋白質(zhì)序列進(jìn)行二級(jí)結(jié)構(gòu)預(yù)測(cè)時(shí)，會(huì)看到類似的情況。 

相比之下，僅針對(duì)一項(xiàng)生成任務(wù)訓(xùn)練的擴(kuò)散模型在序列長(zhǎng)度方面可以更準(zhǔn)確地解決該問題。值得關(guān)注的是，已有的從整體二級(jí)結(jié)構(gòu)內(nèi)容生成序列的模型，很難識(shí)別新的蛋白質(zhì)設(shè)計(jì)，而 MaterioFormer 可以非常好地解決這項(xiàng)任務(wù)，具有非常高程度的新穎蛋白質(zhì)序列設(shè)計(jì)。

MaterioFormer 模型的一個(gè)吸引人的方面是靈活的迭代工作流程，可以集成人類智能和人工智能。人們可以輸入提示，設(shè)計(jì)蛋白質(zhì)，并檢查它是否適合設(shè)計(jì)標(biāo)準(zhǔn)（如果不適合，則重新采樣或調(diào)整設(shè)計(jì)參數(shù)），然后在輔助任務(wù)中使用輸出。這種迭代過(guò)程還可以輕松地與自主實(shí)驗(yàn)相結(jié)合，為數(shù)據(jù)生成、收集和進(jìn)一步訓(xùn)練模型提供額外的來(lái)源。

圖示：根據(jù)給定的二級(jí)結(jié)構(gòu)內(nèi)容比例生成新蛋白質(zhì)的示例。（來(lái)源：論文）

從更理論的角度來(lái)看，這里解決的問題是一個(gè)復(fù)雜的積木組裝問題——積木不僅是氨基酸殘基、二級(jí)結(jié)構(gòu)，而且是組合這些眾多組合空間的數(shù)字和各種任務(wù)。值得注意的是，這里使用的策略學(xué)習(xí)了基礎(chǔ)和可轉(zhuǎn)移的見解。這產(chǎn)生了大量的條件蛋白質(zhì)設(shè)計(jì)以及正向和反向任務(wù)解決方案。通過(guò)更多的數(shù)據(jù)，預(yù)計(jì)可以捕獲高度復(fù)雜的現(xiàn)象。

雖然二級(jí)結(jié)構(gòu)預(yù)測(cè)通常很好，尤其是總體二級(jí)結(jié)構(gòu)比率，但與專用溶解度模型相比，溶解度預(yù)測(cè)的準(zhǔn)確性仍然相對(duì)較低。然而，對(duì)于 <64 個(gè)殘基的短序列，準(zhǔn)確率達(dá)到 0.77。這項(xiàng)任務(wù)僅在一小部分~4,000個(gè)序列溶解度對(duì)（蛋白質(zhì)長(zhǎng)度<128）上進(jìn)行訓(xùn)練（相對(duì)于整個(gè)序列數(shù)據(jù)集中的 40?000 個(gè)序列，所有長(zhǎng)度高達(dá)~1700）。通過(guò)更深的模型和更多的預(yù)訓(xùn)練，對(duì)于長(zhǎng)達(dá) 512 個(gè)氨基酸的序列，溶解度準(zhǔn)確度高達(dá) 78%，顯示出這里開發(fā)的方法在擴(kuò)展可用性、準(zhǔn)確性和通用性方面的巨大潛力。未來(lái)的工作可以擴(kuò)展模型的訓(xùn)練任務(wù)，從而考慮更長(zhǎng)序列的任務(wù)和預(yù)測(cè)。

這里使用的訓(xùn)練策略由基于文本的提示組成，非常靈活，可以輕松適應(yīng)各種任務(wù)。此外，由于該團(tuán)隊(duì)訓(xùn)練和預(yù)測(cè)編碼為文本的數(shù)字，因此研究人員不必專門對(duì)數(shù)值進(jìn)行專門編碼。這對(duì)于任務(wù)和預(yù)測(cè)開發(fā)都有幫助，并且可以允許在架構(gòu)中封裝高維數(shù)據(jù)。還有機(jī)會(huì)引入交叉注意力機(jī)制，從而對(duì)注意力層和圖層中處理的信息進(jìn)行更復(fù)雜的合并。

未來(lái)的探索可以在正向和反向方向上納入額外的預(yù)測(cè)任務(wù)，并擴(kuò)展訓(xùn)練集以納入更多序列（例如，在預(yù)訓(xùn)練階段）。探索與不同生物分子（例如 mRNA 或 DNA）的相互作用也很有趣，由于靈活的字節(jié)級(jí)分詞器，這些分子可以添加到任務(wù)訓(xùn)練中。

此類訓(xùn)練任務(wù)還可能具有多尺度問題，例如不僅編碼構(gòu)成蛋白質(zhì)或生物分子，還編碼其他特征，例如相對(duì)濃度、pH 或鹽濃度等。這最終可能用于構(gòu)建多模態(tài)多尺度模型，該模型可以將從不同的模擬和實(shí)驗(yàn)范式中開發(fā)的知識(shí)融入到從預(yù)訓(xùn)練到任務(wù)的所有訓(xùn)練階段。

該研究中使用的多尺度方案捕獲了物質(zhì)的基本構(gòu)建塊與所得屬性之間的復(fù)雜新關(guān)系。因此，它提供了一種協(xié)同學(xué)習(xí)能力，可以表達(dá)嵌入基礎(chǔ)知識(shí)中的一組潛力，用于訓(xùn)練利用未知或鮮為人知的交叉關(guān)系的模型。從機(jī)制上講，使用一組以復(fù)雜分層模式排列的通用構(gòu)建塊來(lái)創(chuàng)建緊急功能的方法的基本設(shè)計(jì)促進(jìn)了這一點(diǎn)。

「一個(gè)很大的驚喜是，盡管該模型是為了能夠解決多個(gè)任務(wù)而開發(fā)的，但它的表現(xiàn)卻異常出色。這可能是因?yàn)樵撃Ｐ屯ㄟ^(guò)考慮不同的任務(wù)學(xué)到了更多東西。」他說(shuō)，「這一變化意味著，研究人員現(xiàn)在可以廣泛地思考多任務(wù)和多模式模型，而不是為特定任務(wù)創(chuàng)建專門的模型。」

「雖然我們目前的重點(diǎn)是蛋白質(zhì)，但這種方法在材料科學(xué)中具有巨大的潛力。」Buehler 說(shuō)，「我們特別熱衷于探索材料失效行為，旨在設(shè)計(jì)具有特定失效模式的材料。」

論文鏈接：https://pubs.aip.org/aip/jap/article/134/8/084902/2908328/Generative-pretrained-autoregressive-transformer