近日，在中文開源大模型愈發(fā)稀缺的背景下，小紅書旗下 hi lab 公布了中等規(guī)模的 MoE 模型 dots.llm1，以 1420 億總參數(shù)、每次僅激活 140 億參數(shù)的設計，達成與 Qwen2.5-72B 相近的性能，吸引了社區(qū)的關(guān)注。

圖片

據(jù)悉，dots.llm1 是一個 Mixture of Experts（MoE）結(jié)構(gòu)的語言模型。盡管總參數(shù)規(guī)模達 142B，但在每次推理中只激活 14B，有效控制了計算開銷。這種“低激活、高表現(xiàn)”的設計理念，是對 MoE 架構(gòu)效率潛力的一種驗證。

圖片

它采用 6in128 的專家配置，并配有兩個共享 Expert，在架構(gòu)選擇上參考了 DeepSeek 系列；訓練策略上，則使用穩(wěn)定的 WSD 學習率調(diào)度，先維持高學習率跑 10T token，再通過兩輪退火調(diào)整，分別聚焦知識強化與數(shù)學代碼領(lǐng)域。

在訓練效率方面，hi lab 聯(lián)合 NVIDIA 中國團隊對 Megatron-LM 進行了底層優(yōu)化：使用 Interleaved 1F1B + A2A overlap 的并行策略，讓計算覆蓋通信時間；同時，在 Grouped GEMM 的實現(xiàn)上做了調(diào)度層面改造，使 warpgroup 中專家的 token 分布更規(guī)整，最終實現(xiàn)前向階段提速 14%、反向階段提速近 7%。

這些看似技術(shù)細節(jié)的改動，其實是讓 MoE 模型從“概念驗證”邁向“工程可行”的關(guān)鍵步驟。

重點不在數(shù)據(jù)量，而在數(shù)據(jù)質(zhì)量

圖片

相比動輒幾十萬億 token 的訓練數(shù)據(jù)，dots.llm1 用了 11.2T 的“高質(zhì)量 token”達成對比模型效果，在數(shù)據(jù)選擇上更傾向“精挑細選”而非“海量堆積”。

hi lab 的數(shù)據(jù)來源主要是 Common Crawl 和自主抓取的 Spider Web 數(shù)據(jù)，團隊在清洗流程中融入了多層判別機制。例如，對網(wǎng)頁正文提取使用 trafilatura 的改進版本，文檔去重采用 minhash 結(jié)合行級分析，避免重復和冗余內(nèi)容。對網(wǎng)頁首尾常見的噪聲句子，比如導航欄、版權(quán)信息等，還專門設計了“行級過濾”策略。

更進一步，hi lab 還通過語義質(zhì)量分類器和 200 類別的數(shù)據(jù)平衡模型，對語料的類型結(jié)構(gòu)做出篩選，提升知識類文本占比，降低虛構(gòu)小說、電商數(shù)據(jù)等結(jié)構(gòu)化內(nèi)容的比例。在 PII 和內(nèi)容安全方面，也引入模型輔助標注和人工審核，確保安全底線。

這些多層次的處理流程，是 dots.llm1 能以中等體量模型取得對標性能的重要原因之一。

一次盡量完整的開源嘗試

圖片

與當前很多國產(chǎn)大模型“僅開放模型權(quán)重”不同，hi lab 嘗試將 dots.llm1 開源做到相對完整。他們不僅放出了 final instruct 模型，還包含從預訓練初期開始、每 1T token 存儲的中間 checkpoint，覆蓋多個 base 模型、退火階段模型、超參數(shù)和 batch size 配置等。

此外，團隊還開源了數(shù)學與代碼領(lǐng)域微調(diào)中使用的規(guī)則與驗證機制。這種全流程的開放做法，不僅便于其他開發(fā)者繼續(xù)預訓練或微調(diào)，也為研究人員觀察模型學習路徑、分析訓練動態(tài)提供了更多可能。

開源的基礎(chǔ)上，hi lab 明確表示歡迎社區(qū)在 dots.llm1 上進行二次開發(fā)或任務定制，如長文場景訓練、指令微調(diào)或繼續(xù)預訓練，并希望此舉能為中文大模型社區(qū)提供一種新范式。

最后，hi lab 是小紅書內(nèi)部較早布局 AI 的團隊，強調(diào)“人文智能”愿景，關(guān)注 AI 與用戶之間的交互關(guān)系。團隊成員多來自技術(shù)背景較強的公司，在工程效率、數(shù)據(jù)安全和復現(xiàn)性方面有較明確傾向。

github: https://github.com/rednote-hilab/dots.llm1

huggingface:https://huggingface.co/collections/rednote-hilab/dotsllm1-68246aaaaba3363374a8aa7c

小紅書：https://www.xiaohongshu.com/user/profile/683ffe42000000001d021a4c