10月28日~11月1日，全球頂級多媒體會議ACM Multimedia（ACMMM）2024 在澳大利亞墨爾本成功召開。

明略科技集團多模態團隊與北京大學共同完成的最新研究成果《Hypergraph Multi-modal Large Language Model: Exploiting EEG and Eye-tracking Modalities to Evaluate Heterogeneous Responses for Video Understanding》在眾多論文中脫穎而出，榮獲最佳論文提名（Best paper nomination）。明略科技集團創始人、董事長兼CEO吳明輝，多模態大模型部門負責人趙晨旭，明敬算法負責人蘇安煬受邀赴墨爾本出席此次會議。

據悉，本次會議共收到4385篇有效投稿，其中，1149篇論文被接收，174篇論文被評選為Oral，最終僅26篇獲得最佳論文提名。

明略科技集團創始人、董事長、CEO兼CTO吳明輝

在 ACMMM Oral Session 講解最新研究成果

明略科技集團多模態團隊在 ACMMM 2024 會議現場（左起：蘇安煬、吳明輝、趙晨旭）

ACMMM會議是由國際計算機學會（ACM）主辦的多媒體領域的頂級國際學術會議，同時也是中國計算機學會推薦的A類國際學術會議（CCF-A）。自1993年舉辦以來，今年是第32屆。會議議題涵蓋多媒體計算的各個方面，如多媒體內容分析、多媒體檢索、多媒體安全、人機交互、計算機視覺等。

ACMMM 2024 會議現場公布最佳論文提名獎項

針對當前AI領域在視頻內容理解方面主要聚焦于客觀層面，缺少主觀層面的測量標準，以及機器模擬人類主觀感受的有效手段的發展情況，明略科技的最新研究成果整合腦電、眼動信號等多種非標模態，構建了全新的多模態大語言模型范式，在機器理解和模擬人類主觀感受的研究方向，邁出了重要一步。

明略科技多模態團隊論文榮獲 ACMMM 2024 最佳論文提名獎項

論文題目：Hypergraph Multi-modal Large Language Model: Exploiting EEG and Eye-tracking Modalities to Evaluate Heterogeneous Responses for Video Understanding

（超圖多模態大語言模型：應用腦電和眼動模態來評估異質人群觀看視頻時的響應）

作者：吳明輝*，趙晨旭*，蘇安煬*，狄東林，傅天宇，安達，何敏，高雅，馬萌，顏鯤，王平（*為共同第一作者）

論文摘要：對視頻創意和內容的理解往往因人而異，不同年齡、職業和性別的人的關注點和認知水平也存在差異。目前缺乏這方面的研究，沒有可以進行評測的基礎，大多數現有的基準都存在幾個缺點：

1）模態數量有限，題目多為選擇題，難以測量邏輯推理過程；

2）視頻中的內容和場景過于單調，僅涉及到對視頻內容的客觀描述。

為了彌合與實際應用的差距，明略科技引入大規模的視頻主觀多模態評估數據集Video-SME。通過收集不同人群在觀看相同視頻內容時腦電圖 （EEG） 和眼動追蹤區域的真實變化，設立了新的任務和協議，分析和評估不同受試者對相同視頻內容的認知理解程度。

依托新的評測標準，明略科技創新研發了超圖多模態大語言模型 （HMLLM），探索不同人口統計、視頻元素、腦電圖和眼動追蹤指標之間的關聯。HMLLM可以彌合豐富模態之間的語義差距，并集成幀與幀之間的信息以執行邏輯推理。明略科技在Video-SME和其他基于視頻的生成性能基準上設計了實驗，大量實驗評估證明了該方法的有效性。

什么是人的主觀感受？

測量不同人群觀看廣告視頻的主觀響應有何意義？

人在觀看廣告視頻時，對于素材元素的認知程度、情緒高低、眼睛注視程度高低都是人的主觀感受，不同性別、年齡、職業、身份的人群都會有所不同。

如果機器能夠模擬不同人群觀看廣告視頻時的不同主觀感受，那么相當于可以對廣告視頻的內容、創意等進行有效的測量，指導廣告成片過程，節省廣告投放成本。

讓機器學習、理解和模擬人類的主觀感受，可能是賦予機器主觀意識的開端。明略科技提出的新基準Video-SME有望成為該領域的新起點，標志著機器對視頻的理解從客觀維度向主觀維度的轉變。作為一種全新的范式，明略科技多模態大模型HMLLM的研發，致力于為該領域研究人員解決非標準模態問題提供寶貴經驗與啟示，從而促進大模型領域向人機協同的美好未來邁進。

本研究課題由科技部科技創新2030——“新一代人工智能（2030）”重大項目支持。

論文鏈接：

https://dl.acm.org/doi/10.1145/3664647.3680810

GitHub地址：

GitHub - mininglamp-MLLM/HMLLM: [ACM MM2024] The code for HMLLM.