?作者 | 徐杰承

2月7日，百度官方公眾號發布了一條極為簡短的通告——《官宣：文心一言》。據了解，文心一言正是百度內部所研發的類ChatGPT聊天機器人，其英文名稱則為ERNIE Bot。

據百度內部人員表示：文心一言由基于百度提出的知識增強大模型（Ernie）擴展而成的一系列高級大模型構成，可以執行廣泛的任務，包括語言理解、語言生成(ERNIE 3.0 Titan)以及根據文本生成圖像(ERNIE-ViLG)等。與其他語言模型相比，文心一言能夠將廣泛的知識與海量數據相結合，從而產生非凡的理解與生成能力。公司計劃在3月完成文心一言的內部測試，然后向公眾正式開放使用。

雖然對于文心一言的實際表現我們暫且不得而知，但通過百度此前所發布的名為《ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation》的論文，目前我們可以大致了解到一些有關其所應用的語言模型ERNIE 3.0 Titan的相關信息。

據論文顯示：ERNIE 3.0 Titan是百度于PaddlePaddle平臺上所訓練的千億參數模型，其中包含多達2600億個參數（ChatGPT使用1750億參數的GPT3.5模型）。此外，百度還設計了一個自我監督的對抗性損失和一個可控的語言建模損失，使ERNIE 3.0 Titan生成可信和可控的文本。

為了減少計算開銷和碳排放，百度還為ERNIE 3.0 Titan提出了一個在線蒸餾框架，其中教師模型將同時教授學生和訓練自己。ERNIE 3.0Titan是迄今為止最大的中國密集預訓模型。相關實驗結果表明，ERNIE 3.0 Titan在68個NLP數據集上的性能已優于現階段最先進的語言模型，包括ChatGPT所應用的GPT3.5模型。

ERNIE 3.0 Titan模型架構圖

據悉，目前文心一言已進入上線前的最接沖刺階段，而相關消息的曝出，也使百度港股一度暴漲超17%，市值增長約700億港元。據部分業內人士推測，百度文心一言項目或早在2022年9月便已啟動研發，彼時百度CEO李彥宏在世界人工智能大會上就曾表示：無論在技術層面還是商業應用層面，人工智能都有了巨大的進展，有些甚至是方向性的改變。

考慮到目前由ChatGPT所帶來的生成式AI的火爆，未來覬覦這一領域市場的國內企業，勢必不止百度一家。就市場角度而言，目前類ChatGPT聊天機器人最明顯的價值與落地場景，正是百度主營的搜索業務。如此看來，如果下一次科技革命真的爆發在該領域，那么百度無疑已拔得頭籌。此外，不少業內人士認為，考慮到谷歌和微軟的推進節奏，文心一言開放內測的進度還有可能繼續提前。