多階段對比學習+多專家CLIP實現細粒度多模態表征學習
今天給大家介紹一篇港中文、上海AILab等機構聯合發表的CLIP優化工作,構建了基于多專家網絡的MoE模型,實現更細粒度的視覺表征器訓練,提升下游多模態大模型論文標題:CLIPMOE:TOWARDSBUILDINGMIXTUREOFEXPERTSFORCLIPWITHDIVERSIFIEDMULTIPLETUPCYCLING下載地址:??https:arxiv.orgpdf2409.19291v2??1.背景基于CLIP的圖文對比學習預訓練是構建多模態大模型的一個核心基礎模塊。通過圖片和文本的對比學習過程,訓練圖片和文...