在最近的一項研究中，來自美國宇航局和IBM的一組研究人員合作開發了一種模型，該模型可應用于地球科學，天文學，物理學，天體物理學，太陽物理學，行星科學和生物學以及其他多學科學科。當前的模型，如 SCIBERT、BIOBERT和SCHOLARBERT僅部分覆蓋了其中的一些領域。現有的模型沒有充分考慮所有這些相關領域。

為了彌合這一差距，該團隊推出了INDUS，這是一套基于LLMs編碼器的專門針對這些特定領域的設備。由于INDUS 是根據從各種來源精心挑選的語料庫進行培訓的，因此可以保證涵蓋這些領域的知識體系。INDUS 套件包括多種類型的模型，以滿足不同的需求。

在這項研究中，Indus特別關注與地球、天體、太陽和太陽系內的行星相關的跨學科領域，如物理學、地球科學、天體物理學、太陽物理學、行星科學和生物學。雖然現有的特定領域模型（如 scibert、biobert和scholarbert）的訓練語料庫部分涵蓋了其中一些領域，但目前還沒有一個特定的模型可以共同涵蓋所有感興趣的領域。Indus，這是一個基于llm Encoder的合集，專注于這些感興趣的領域，使用來自不同來源的精心策劃的語料庫進行訓練。

具體而言，Indus做到了：

1. 利用字節對編碼算法IndusBPE，從精選的科學語料庫中定制的分詞器。

2. 利用精心策劃的科學語料庫和IndusBPE標記器預訓練了多個??encoder-only的大模型???（Indus-base）。通過微調這個編碼器模型，使用??對比學習??目標來學習“通用”句子嵌入（粉色的部分），進而創建了sentence-embedding模型。最后還使用知識蒸餾技術訓練了這些模型的更小，更高效的版本（Indus-small）。

3. 本次還創建三個新的科學基準數據集，即氣候變化ner（實體識別任務）、nasa-qa（抽取式問答任務）和 nasa-ir（檢索任務），以進一步加速這一多學科領域的研究。

4. 通過實驗結果表明模型在這些基準任務以及現有的特定領域基準上具有很強的性能，與原始模型相比，在大多數基準任務中，知識提煉的小模型在延遲方面實現了顯著提高，同時保持了強大的經驗性能。

至于訓練數據方面，下圖左側是本次的訓練語料庫的組成部分，右側對比RoBERTa和IndusBPE Tokenizer的效率，標記越少，計算成本越低。下文為兩者切詞的對比。

• SAO/NASA ADS：涵蓋了天文學和天體物理學、物理學和普通科學領域的出版物，包括所有arXiv。
• PubMed Central （pmc）是由美國國家醫學圖書館和美國國立衛生研究院維護的生物醫學和生命科學期刊文獻的全文檔案。本次使用了pmc中具有商業友好許可證的部分，以及pmc中所有文章的PubMed摘要。
• 美國氣象學會 （ams）： 使用了涵蓋地球系統、地球相互作用、應用氣象學和氣候學、物理海洋學、大氣科學、氣候、水文氣象學、天氣和預報以及社會影響等主題的全文期刊文件。
• 美國地球物理聯盟 （agu）：數據集包括大氣、生物地球科學、地球表面、機器學習和計算、海洋、行星、固體地球和空間物理學等主題的期刊文檔。
• NASA通用元數據存儲庫 （CMR）：是一個高性能、高質量的元數據系統，對NASA地球科學數據和信息系統 （ESDIS）的所有數據和服務元數據記錄進行編目。

??

模型的整體架構如上，沒有太復雜的地方。唯一值得關注的是利用了知識蒸餾和對比學習，訓練出更小的模型，和檢索器。

實驗結果表明，這些模型在最近創建的基準任務和當前使用的領域特定基準上都表現良好。它們的性能優于特定領域的編碼器（如 SCIBERT）和通用模型（如 RoBERTa），關鍵是整體的體積很小！

本文轉載自 ??魯班模錘??，作者： 龐德公