3月20日，北京智源人工智能研究院發布超大規模智能模型“悟道1.0”。“悟道1.0”是我國首個超大規模智能模型系統，由智源研究院學術副院長、清華大學唐杰教授領銜，帶領來自北京大學、清華大學、中國人民大學、中國科學院等單位的100余位AI科學家團隊聯合攻關，取得了多項國際領先的AI技術突破，形成超大規模智能模型訓練技術體系，訓練出包括中文、多模態、認知、蛋白質預測在內的系列模型。

[[388907]]

　　“悟道”模型：旨在從更加本質的角度進一步探索通用智能

　　會上，智源研究院院長黃鐵軍教授介紹了“悟道”模型研發的初衷。據他介紹，本輪人工智能浪潮的基本特點是“數據+算力+算法=模型”，模型濃縮了訓練數據的內部規律，是實現人工智能應用的載體。近年來人工智能的發展，已經從“大煉模型”逐步邁向了“煉大模型”的階段，通過設計先進的算法，整合盡可能多的數據，匯聚大量算力，集約化地訓練大模型，供大量企業使用，這是必然趨勢。

　　智能模型不僅要規模大（主要體現為參數量），還要智商高，才能滿足各種應用需要，這需要突破大量技術挑戰。作為以人工智能源頭創新為使命的新型研究機構，智源研究院2020年10月正式啟動超大規模智能模型“悟道”項目，研發既博大又精深的超大規模訓練模型，從更加本質的角度進一步探索通用人工智能。同時，構建大規模智能模型應用生態，推動相關機構和個人開發者基于模型研發各類新型智能應用，服務我國實體經濟產業升級。

　　為了更好地推動“悟道”大模型的研發，保持研發過程中技術的領先性，此次發布上，還同時成立了由9位來自學術界和產業界的頂尖科學家組成的“悟道”大模型技術委員會。委員會主任由清華大學唐杰教授擔任，委員會成員包括：北京大學鄂維南院士、清華大學魯白教授、中國人民大學人工智能信息學院院長文繼榮教授、清華大學計算機系長聘副教授劉知遠、清華大學計算機系長聘副教授黃民烈、北京大學王選計算機研究所萬小軍研究員、一流科技創始人袁進輝、循環智能聯合創始人楊植麟。后續，技術委員會將為大模型研發的技術方案和路線選擇等進行指導和把關。

　　“悟道1.0”：我國首個超大規模智能模型

　　會上，“悟道”模型技術委員會主任、智源研究院學術副院長唐杰教授介紹了“悟道”模型的戰略布局及階段性成果。據介紹，“悟道1.0”先期啟動了4個大模型的研發。

　　“悟道·文源”是“以中文為核心的大規模預訓練模型”，目標是構建完成全球規模最大的以中文為核心的預訓練語言模型，在中英文等多個世界主流語言上取得最好的處理能力，在文本分類、情感分析、自然語言推斷、閱讀理解等多個任務上超越人類平均水平，探索具有通用能力的自然語言理解技術，并進行腦啟發的語言模型研究。目前，“悟道·文源”模型參數量達26億，具有識記、理解、檢索、數值計算、多語言等多種能力，并覆蓋開放域回答、語法改錯、情感分析等20種主流中文自然語言處理任務，技術能力已與GPT-3實現齊平，達到現有中文生成模型的領先效果。

　　“悟道·文瀾”是“超大規模多模態預訓練模型”，目標是突破基于圖、文和視頻相結合的多模態數據的預訓練理論難題，并最終生成產業級中文圖文預訓練模型和應用，并在多個評測應用上超過國際最高性能。目前，“悟道·文瀾”模型參數量達10億，基于從公開來源收集到的5000萬個圖文對上進行訓練，是首個公開的中文通用圖文多模態預訓練模型。目前，該模型性能已到達國際領先水平，在中文公開多模態測試集AIC-ICC的圖像生成描述任務中，得分比冠軍隊高出5%；在圖文互檢任務中，得分比目前最流行的UNITER模型高出20%。

　　“悟道·文匯”為“面向認知的超大規模新型預訓練模型”，致力于從認知的角度研究通用人工智能中一系列更本質問題，側重進一步提升和發展預訓練模型基于邏輯、意識和推理的認知能力，目標是研發出千億至萬億級別參數量的、更通用且性能超越國際水平的預訓練模型，搭建預訓練模型體系，同時形成認知智能生態。目前，“悟道·文匯”模型的參數規模達113億，在多項任務中“悟道·文匯”的表現已經接近突破圖靈測試，通過簡單微調就已經實現AI作詩、AI作圖、AI制作視頻、圖文生成、圖文檢索、復雜推理。

　　“悟道·文溯”是“超大規模蛋白質序列預測預訓練模型”，最終目標是以基因領域認知圖譜為指導，研發出十億參數規模、可以處理超長蛋白質序列的超大規模預訓練模型，在基本性能、可解釋性和魯棒性等多個方面達到世界領先水平。目前，“悟道·文溯”已在蛋白質方面完成基于100GB UniParc數據庫訓練的BERT模型，在基因方面完成基于5-10萬規模的人外周血免疫細胞（細胞類型25-30種）和1萬耐藥菌的數據訓練，同時搭建訓練軟件框架并驗證其可擴展性。

　　據唐杰教授介紹，此次發布的“悟道”大模型1.0版本，已經完成了百億和千億參數規模的預訓練，在多個國際評測中取得世界第一，在部分任務上具有一定認知能力。今年，還將陸續發布后續迭代版本，面向產業界開放使用。

　　應用生態“三步走”：探索“悟道”大模型生態發展

　　在模型研發的同時，智源研究院也在同步探索“悟道”模型的應用生態建設模式。據唐杰教授介紹，后續“悟道”模型將以開放API（應用程序接口）的形式對外提供服務，用戶通過申請并經授權后可以基于模型API開發各類智能化應用。另外，也會開源模型的社區版本，服務我國AI科研發展。

　　據唐杰教授介紹，下一步，“悟道”模型應用生態建設分為三個主要階段，分別關注示范應用、API生態及社區運營維護等。第一階段為示范性應用搭建，將構建面向電子商務、智能文本服務、垂直領域以及數個獨立的示范性應用，將開放幾個高質量的應用Demo，支持用戶在平臺頁面上使用及測試。第二階段為API及平臺生態構建，將設計多個API，支持對模型的不同請求方式，構建支持高并發、高速推理的API接口，分別支持企業級用戶、個人獨立開發者對模型或特定功能的請求。第三階段為社區運營及迭代，將逐步增量擴大在線評測，構建開發者及使用者社區，建立完善的使用反饋機制，并作為模型迭代的參考標準，同時加強社區維護及管理，加快模型迭代。

　　目前，智源研究院已啟動第一階段的示范性應用搭建，正與快手、搜狗、360、阿里、智譜華章、一覽群智、循環智能、新華社等機構就模型的應用進行洽談，聯合構建一批工業級示范性應用。下一步，智源研究院將加強用戶的開發，做好用戶服務，與AI龍頭企業共同研發更多工業級示范性應用，并將加快推動API生態構建及社區運營迭代工作，通過舉辦學術交流、技術挑戰賽等活動提高“悟道”模型的影響力，吸引更多AI企業、研究機構、個人開發者等開展基于模型的應用開發工作，推動構建國際領先的超大規模智能模型應用生態。