數據集是推動自然語言處理技術進步的基石。為應對自然語言處理技術應用中面臨的多領域、多場景等諸多挑戰，百度聯合中國計算機學會、中國中文信息學會，于2020年8月共同發起中文自然語言處理數據共建計劃——“千言”， 推進中文信息處理技術的進步。

　　發布一年多以來，“千言”已針對開放域對話、閱讀理解和情感分析等8個任務，匯集了來自11所高校和企業的28個開源數據集。其中，情感分析作為自然語言處理技術的基本任務之一，涵蓋了句子級情感分類、評價對象級情感分類、觀點抽取三個經典任務數據集，吸引了來自京東、網易、小米、平安、OPPO、新浪等多家知名企業的近300支團隊參加打榜。

　　近日，為了更好地推動情感分析技術在大規模產業化的應用，百度聯合中國中文信息學會情感計算專業委員會、美團共同發布千言-情感分析2.0，實現兩方面的重大提升。首先，在繼續關注模型準確率效果的同時，加強對模型是否“可信”的評估，發布業界首個中文情感可信數據集DuTrust；其次，針對產業化中面臨的任務類型、數據模態多樣化的難題，提供面向真實應用場景的大規模、高質量、多模態的情感分析數據，發布業界最大規模的中文評論分析數據集ASAP和面向推薦場景的多模態情感標簽數據集DuVideoSenti。

　　發布業界首個中文情感可信數據集DuTrust

　　“可信AI”的概念在近幾年提出，并且逐漸成為全球共識。可信AI，就是保證AI系統的公平性、可解釋性、魯棒性和透明性，確保算法可被人信任。在情感分析技術的科學研究和產業落地中，可信情感分析系統需要模型具備較強的魯棒性，還需要模型具備可解釋能力，也就是需要模型既能給出精準的預測結果，還能給出其判斷依據，從而保證模型的預測結果更加置信。

　　作為業界首個中文情感可信數據集，DuTrust基于人工標注的擾動數據和情感證據，全部來源于真實用戶評論數據，同時測試模型的魯棒性和可解釋性，全面評估模型的可信能力。

　　中文情感可信數據集DuTrust數據樣例

　　以上述評論數據為例，DuTrust首先為每個樣例對應標注一個擾動樣本，并且標注原始樣本和擾動樣本的情感類別，通過計算模型在原始樣例和擾動樣例上預測的準確率（Accuracy）作為模型魯棒性的評估指標。

　　此外，DuTrust還分別為原始樣例以及擾動樣例人工標注了情感的判斷依據，在可解釋性評估時，需要用戶同時給出模型的情感判別依據，最終通過計算其與人工標注結果在字粒度上重合度F1值（F1-measure）作為模型可解釋性的評估指標。

　　聯合發布業界最大規模的中文評論分析數據集ASAP

　　在電商場景下，一般來說情感分析涉及評論得分預估和對象級情感分類兩個最基礎的任務。兩個任務之間天然存在很強的關聯性，且在商業應用中也通常一起使用。然而現有的中文公開數據集大都針對兩個任務分別構建，未能將兩類任務有效聯系起來。

　　此次“千言”與美團聯合發布的業界最大規模中文評論分析數據集ASAP，首次實現對評論得分預估和對象級情感分類兩個任務的聯合標注，數據全部源于真實的電商場景，從數據規模和標注質量上都遠超其他數據集。

　　中文評論分析數據集ASAP數據樣例

　　該數據集針對輸入的評論文本，人工標注整體的評論得分（1-5分），以及對應不同評價對象的情感類別（積極、消極、中性三種），并且使用準確率（Accuracy）評估模型的預測效果。

　　發布面向推薦場景的多模態視頻情感標簽數據集DuVideoSenti

　　目前，個性化推薦技術迅猛發展，成為繼搜索引擎之后的又一重要的信息獲取途徑。推薦系統的目的是為用戶提供個性化的內容和服務，幫助用戶快速高效的獲取個性化信息。

　　在真實的應用場景中，往往存在大量內容題材、質量相同，但卻能給用戶帶來不同視覺沖擊和情感感受的資源。針對這類資源，需要構建能夠刻畫用戶不同的視覺和情感感受的完備的標簽體系，才能將其更好地應用于推薦系統，提升用戶的體驗。

　　千言面向推薦場景推出多模態情感標簽數據集DuVideoSenti，引入視頻情感泛標簽預測任務，構建了視頻情感泛標簽體系。該體系由人工定義的“文藝清新”、“時尚炫酷”、“舒適溫馨”等11個情感泛標簽組成，用以刻畫用戶瀏覽視頻后的視覺和情感方面的感受。數據集為每個小視頻標注了情感泛標簽，并且提供了視頻的標題、幀圖特征用于模型的訓練和預測。在測試中使用準確率（Accuracy）用于評估模型的預測效果。本數據集聚焦情感分析技術在個性化推薦場景中的應用，同時有助于推動多模態學習技術的發展。

　　多模態視頻情感標簽數據集DuVideoSenti數據樣例

　　為了進一步推動情感分析相關研究，中國中文信息學會情感計算專業委員會與千言開源數據集項目組（www.luge.ai）還聯合舉辦“千言情感分析常規評測比賽”，目前已有來自國內知名企業及高校超1000位選手報名參賽。

　　據悉，本次比賽就以千言-情感分析2.0為核心，全面評估情感分析模型在多種模態場景下的預測準確率、模型的魯棒性和可解釋性指標。除了有挑戰性的賽題，百度飛槳 AI Studio 將為選手提供免費的Tesla V100 GPU算力，千言數據集還將為優勝團隊頒發證書，并發放精美的定制禮品。

　  未來，希望有更多的情感分析領域科研學者、領域專家參與共建千言-情感分析榜單，共同推動中文情感分析技術的進步，建設世界范圍內的中文情感分析影響力。