視頻編輯最新SOTA!港中文&Adobe等發布統一視頻生成傳播框架——GenProp
文章鏈接:https:arxiv.orgpdf2412.19761項目鏈接:https:genprop.github.io亮點直擊定義了一個新的生成視頻傳播問題,目標是利用I2V模型的生成能力,將視頻第一幀的各種變化傳播到整個視頻中。精心設計了模型GenProp,包含選擇性內容編碼器(SelectiveContentEncoder,SCE)、專用損失函數以及mask預測頭,并提出了一個用于訓練模型的合成數據生成pipeline。本文的模型支持多種下游應用,如移除、插入、替換、編輯和跟蹤。實驗...