一鍵點、萬物動! 騰訊混元聯合清華、港科大推出圖生視頻大模型“Follow Your Click”
原創編輯 | 言征
出品 | 51CTO技術棧(微信號:blog51cto)
3月15日,騰訊混元和清華大學、香港科技大學聯合推出全新圖生視頻模型“Follow-Your-Click“,基于輸入模型的圖片,只需點擊對應區域,加上少量提示詞,就可以讓圖片中原本靜態的區域動起來,一鍵轉換成視頻。
當前的圖生視頻大模型中,一般的生成方法不僅需要用戶在提示詞中描述運動區域,還需要提供運動指令的詳細描述,過程較為復雜。另外,從生成的效果來看,現有圖像生成視頻技術在移動圖像的指定部分上缺乏控制,生成的視頻往往需要移動整個場景,而不是圖像上的某一個區域,精準度和靈活性上有所欠缺。
為了解決這些問題,騰訊混元大模型團隊、清華和港科大的聯合項目組提出了更實用和可控的圖像到視頻生成模型Follow-Your-Click,帶來更加便捷的交互,也讓圖片“一鍵點,萬物動”成為現實。
圖像到視頻生成的技術在電影內容制作、增強現實、游戲制作以及廣告等多個行業的AIGC應用上有著廣泛前景,是2024年最熱門的AI技術之一。
據了解,本聯合項目組中的騰訊混元大模型團隊,正在持續研究和探索多模態技術,擁有行業領先的視頻生成能力。此前,騰訊混元大模型作為技術合作伙伴,支持《人民日報》打造原創視頻《江山如此多嬌》,生成中國大美河山的精美視頻片段,展示出了較強的內容理解、邏輯推理和畫面生成能力。
論文鏈接:https://arxiv.org/abs/2403.08268
Github:https://follow-your-click.github.io/