近日，人工智能國際頂會AAAI 2023公布評選結果。新加坡國立大學（NUS）與字節跳動機器學習團隊(AML)合作的CowClip技術論文入圍杰出論文（Distinguished Papers）。CowClip是一項模型訓練優化策略，可以在保證模型精度的前提下，實現在單張GPU上的模型訓練速度提升72倍，相關代碼現已開源。?

論文地址：https://arxiv.org/abs/2204.06240?

開源地址：https://github.com/bytedance/LargeBatchCTR?

AAAI是由國際人工智能促進協會主辦的年會，是人工智能領域中歷史最悠久的頂級學術會議之一。AAAI 2023共收到8777篇論文投稿，其中1721篇論文被錄用，錄用率為19.6%。牛津大學計算機科學系獲得此次大會的最高獎項（Outstanding Paper Award），北大等機構合作論文則獲得學生論文獎（Outstanding Student Paper）。此外，大會還評選出12篇杰出論文（Distinguished Papers），內容涵蓋模型訓練策略優化、圖神經網絡優化、神經架構搜索等多個方向。?

如何提升模型訓練速度是機器學習領域永恒的課題。自從谷歌在2018年提出首個預訓練大模型BERT，大模型訓練逐漸成為深度學習領域的潮流和趨勢。然而，模型體量越來越大也意味著一次完整的訓練要花費大量的時間和計算成本。根據此前谷歌發布的信息，訓練110億參數的 T5（谷歌 2019 年推出的預訓練模型）變體時，單次運行成本超過130萬美元。?

入選杰出論文的CowClip模型訓練優化策略，通過保障更大批量大小（batch size）的模型精度，可以實現更加充分的GPU性能挖掘，達到提高訓練速度的目的。實驗顯示，利用 CowClip 訓練的模型比其它方法不僅精度更高，訓練速度也大幅提升，在單張GPU上訓練Deep FM模型可以針對公開數據集的數據，將訓練時間從12小時壓縮至10分鐘，一次性將模型訓練速度提升72倍。?

憑借高效的計算和更加精準的分析與決策能力，人工智能技術正越來越廣泛地應用到醫療、金融、制造、教育和電商等領域，而模型訓練的精度和效率將持續成為影響人工智能產業發展的關鍵因素。?

據介紹，字節跳動機器學習團隊（AML）已將CowClip的核心技術在公司部分業務中落地實踐。該團隊為公司提供機器學習中臺服務，包括為今日頭條、抖音、西瓜視頻等產品的推薦、廣告、搜索等業務場景提供大規模訓練系統和推理系統，并通過火山引擎向企業客戶提供簡單易用、穩定可靠的機器學習平臺。?