多模態融合技術已成為人工智能重要領域，它涉及將來自不同傳感器、時間和空間的數據進行有效整合，以提高決策系統的性能。特別是在高風險的決策環境中，如醫療診斷、金融市場分析和國防安全，準確預測人類決策表現對于避免錯誤和提高效率至關重要。多模態融合技術的應用前景廣闊，它能夠結合人類的生理信號（如腦電圖EEG數據）和外部信息（如視覺圖像），為我們提供了一種全新的預測和分析人類行為的方法。

本文解讀的研究成果由一支跨學科團隊完成，他們在多模態數據融合領域的探索為我們預測人類決策表現提供了新的視角。研究團隊由Xuan-The Tran、Thomas Do、Nikhil R. Pal、Tzyy-Ping Jung和Chin-Teng Lin等專家組成，他們分別來自澳大利亞科技大學的GrapheneX-UTS HAI Centre、印度統計研究所的Electronics and Communication Sciences Unit以及加州大學圣地亞哥分校的Institute for Neural Computation和Institute of Engineering in Medicine。這個團隊匯集了工程技術、通信科學、神經計算和醫學工程等領域的頂尖專家，他們的合作研究不僅拓寬了多模態融合技術的應用范圍，也為相關領域的研究提供了寶貴的經驗和見解。6月8日，他們的論文《Multimodal fusion for anticipating human decision performance》在《自然》科學期刊發表。

他們研究的主要貢獻包括：

1.引入了一種具有挑戰性的決策制定范式，通過提供六個決策選項來降低正確猜測的可能性。

2.確定了作為決策準確性有效區分器的重要EEG特征。

3.提出了新的圖像特征提取方法以增強決策預測準確性。

4.展示了多模態EEG和圖像特征融合在預測人類決策表現方面優于單一模態特征的優越性。

在接下來我們將深入探討這項研究的方法論、實驗設計、數據分析和得出的結論，以及這些發現對未來研究的啟示和影響。通過這篇解讀，我們將能夠更好地理解多模態融合技術在預測人類決策表現中的重要性和潛力。

?相關工作

這項研究提出了一種多模態機器學習方法，利用圖像特征和腦電圖（EEG）數據來預測人在復雜視覺搜索任務中的反應正確性。研究中使用了一個新穎的圖像特征集，這些特征涉及到對象關系，并通過Segment Anything Model (SAM)提取，與傳統特征相比，這些特征能夠提高預測準確性。此外，該方法有效地結合了EEG信號和圖像特征，簡化了隨機森林分類器（RFC）所需的特征集，同時保持了高準確率。這項研究的發現對于開發先進的故障警報系統具有重大潛力，特別是在醫療和防御等關鍵決策環境中。

決策理論是研究個體或集體如何做出選擇的學科，它涉及心理學、統計學、經濟學和管理學等多個領域。在實驗心理學中，決策理論尤其關注如何在不確定性下做出最優選擇。基本模型包括期望效用理論、前景理論以及信號檢測理論等。這些模型試圖解釋和預測人們在面對不同選項時的行為模式，如何權衡風險與回報，以及如何處理概率信息。在高風險環境中，如醫療診斷或金融投資，這些理論對于設計決策支持系統和評估決策質量具有重要意義。

腦電圖（EEG）是一種記錄大腦電活動的技術，它通過測量頭皮上的電位變化來捕捉神經元的群體活動。在決策研究中，EEG被用來揭示決策過程中的神經機制。特定的EEG波形，如事件相關電位（ERP）組件，可以反映決策相關的認知過程，例如注意力分配、信息加工和記憶檢索。通過分析這些波形，研究人員能夠更深入地理解決策過程中的大腦活動，以及如何通過生理信號來預測決策結果。

多模態融合是指將來自不同傳感器、模態或來源的數據結合起來，以提高信息的準確性和完整性。這項技術的發展始于早期的傳感器融合研究，隨著時間的推移，它已經擴展到包括視覺、聽覺、觸覺和生理信號在內的多種模態。在人工智能和機器學習的推動下，多模態融合技術已經取得了顯著進展，特別是在圖像和語音識別、情感分析以及社交媒體分析等領域。當前的研究正在探索如何將這些技術應用于更復雜的任務，例如預測人類決策表現，其中EEG數據的融合為理解和預測決策提供了新的可能性。

研究還介紹了一種基于視覺搜索的新決策制定范式，通過結合EEG腦成像信號來分析參與者在更具挑戰性的情境中的決策過程。為了增加視覺搜索任務的復雜性和挑戰性，研究中使用了偽裝對象。這種范式涉及在圖像中的六個子區域中識別偽裝目標對象，從而將正確猜測反應的概率降低到1/6。此外，研究利用EEG和圖像特征來預測參與者決策的正確性，并應用多模態方法結合圖像（作為信息來源）和EEG（作為大腦對信息的反應）特征來預測在具有挑戰性的視覺搜索任務中人類決策的準確性。

研究方法

本研究的實驗設計旨在通過多模態融合技術預測人類在復雜視覺搜索任務中的決策表現。實驗包括了使用圖像特征和腦電圖（EEG）數據作為輸入，以訓練機器學習模型進行預測。參與者由14名健康成年志愿者組成，他們在接受了詳細的實驗說明并簽署知情同意書后參與了實驗。實驗任務要求參與者在一系列視覺搜索任務中識別偽裝的動物，這些任務設計來模擬現實生活中的決策場景。實驗流程包括了提示階段、注視期、圖像展示、反應時間和反饋，旨在捕捉參與者在每個決策點的行為和生理反應。

EEG數據的收集使用了Neuroscan Synamps 2放大器和64通道Quik-Cap，以1000 Hz的采樣率記錄參與者在實驗過程中的腦電活動。圖像數據則來自公開可用的偽裝圖像數據集COD10K，這些圖像經過調整以適應實驗的視覺要求。所有數據收集均在嚴格遵守倫理標準和隱私保護的前提下進行。

從EEG數據中提取的特征包括事件相關電位（ERP）組件和振幅值，這些特征反映了大腦在決策過程中的活動。圖像數據的特征提取則包括顏色、對比度和圖像質量等基本視覺屬性，以及利用Segment Anything Model（SAM）提取的高級特征，如目標對象的大小、遮擋情況和中心偏見。這些特征被用于訓練隨機森林分類器，以預測參與者在視覺搜索任務中的決策正確性。

隨機森林分類器的參數設置對模型的性能有著重要影響。在本研究中，分類器包含100棵樹，每棵樹的最大深度設置為10，以捕捉數據中的復雜模式同時避免過擬合。分類器的訓練采用了引導抽樣方法，并設置了“gini”作為分裂質量的衡量標準。此外為了確保結果的可重復性，設置了固定的隨機狀態，并采用了平衡類權重的方法來調整訓練過程中的類頻率。這些參數的選擇旨在優化分類器的預測能力，確保在多模態融合任務中達到最佳性能。

圖1：隨機森林分類器的性能在組級使用來自14名受試者的數據進行訓練，使用各種特征集：前10個腦電圖特征、前10個圖像特征，以及前5個腦電圖和5個圖像特征的組合作為多模式方法。誤差條表示5倍交叉驗證的標準偏差。

圖2：通過隨機森林分類器識別的前10個關鍵圖像和腦電圖特征是重要特征分析。

在這項研究中，通過使用排列測試和Bonferroni校正（EEGLAB工具箱中）進行了大平均事件相關電位（ERP）分析，以確定哪些EEG通道及其時間段在正確和錯誤反應之間有顯著差異。研究發現，九個ERP成分在正確和錯誤反應之間表現出統計學上的顯著差異，這些成分分布在四個大腦區域（12個EEG通道）中。正確反應的振幅一致高于錯誤反應。這些ERP成分的識別導致提取了540個EEG ERP特征，使用了五種特征提取方法。

此外研究還進行了重要特征分析，以確定對隨機森林分類器最有影響的EEG和圖像特征，并選擇特征進行多模態分類器訓練。結果顯示，多模態特征在準確性、精確性和F1分數方面（分別為0.85、0.85和0.91）優于單一的EEG特征（0.79、0.80、0.85）和圖像特征（0.76、0.77、0.84）。

在個體數據集水平上訓練隨機森林分類器，以評估分類器模型預測參與者決策的能力。研究比較了模型的準確性與反映參與者決策行為表現準確性的“參考準確性”。如果模型的準確性超過參考準確性，表明它可以有效地識別正確和錯誤的參與者反應。關鍵發現包括：

1.多模態EEG-圖像特征在所有受試者數據集中均優于單一的EEG特征（t(14) = 3.05, p = 0.009）和圖像特征（t(14) = 4.52, p = 0.0006）。

2.使用多模態EEG-圖像特征的隨機森林分類器的準確性在所有受試者數據集中均超過了參考準確性（t(14) = 7.34, p = 5.67e–6）。

3.EEG特征的表現并不比圖像特征明顯更好（t(14) = 1.51, p = 0.15）。

4.在比較單一特征時，使用圖像特征的分類器的準確性并沒有顯著更好（t(14) = 1.14, p = 0.28），在S03、S05、S07和S14中未能超過參考準確性。相比之下，使用EEG特征的隨機森林分類器的準確性顯著高于參考準確性（t(14) = 3.13, p = 0.008），但在S05、S12和S14中未能超過參考準確性。

5.在個體水平訓練中，隨機森林分類器的平均準確性高于群體水平訓練的所有圖像、EEG和多模態圖像-EEG特征。具體來說，使用所有特征的群體水平訓練的準確性、精確性和F1分數低于單一受試者訓練。

從公開可用的偽裝圖像數據集COD10K29中選取了200張圖像。這些圖像特征是在一個尋找動物的挑戰場景中的單個動物。為了增強視覺清晰度并最小化搜索動物對象時的頭部移動，所有圖像都被調整大小到1000×600像素。圖3展示了每次試驗的過程。在每次試驗開始時，會顯示一個2秒的提示，顯示動物的種類，然后是1秒的注視期。隨后，包含動物的圖像顯示3秒，由細網格線劃分為六個等大小的區域。參與者被指示定位并指出動物所在的區域。在1秒的注視期后，他們有2秒時間通過按鍵盤上的1到6號鍵做出決策。一旦他們做出選擇，對象的正確位置就會被突出顯示2秒，然后是下一個試驗開始前的2秒休息時間。

圖3：試驗表現：在試驗過程中，參與者識別出圖像中的一只動物，并將其物種作為提示。參與者通過按下鍵盤上的數字1-6來指示動物的位置。然后揭示正確的位置，讓參與者評估他們的反應。例如，如果正確的位置在區域2中，則綠色邊界框會高亮顯示該區域。

圖4:本研究中的偽裝物體與圖像背景具有相似的顏色和形狀特征。（a） 示例圖像展示了各種目標對象特征，包括目標對象大小（VM-非常小、M-小、L-大和VL-非常大）、沒有中心偏移（NoCB-位于圖像的側子區域1、3、4和6中的目標對象）、存在中心偏移（CB-位于圖像的中心子區域2和5中的目標物體）、沒有遮擋（NoOC-未被圖像中的另一個對象覆蓋的目標目標物體）和遮擋（OC-被另一個物體部分覆蓋的目標物體。邊界框用于在視覺上表示圖像中目標對象的子區域位置。由分段任意模型（SAM）分割的目標對象的例子證明了分割方法的高質量，即使對于小的或被遮擋的對象也是如此。（b） 熱圖顯示了圖像數據集中八個目標對象特征（NoCB、CB、NoOC、OC、VM、M、L、VM）的分布。（c） 弦圖描繪了圖像數據集中的八個目標對象特征之間的相關性。目標對象大小（L、M和VM）與其他目標對象特性之間的相關性表現出良好的平衡關系。相反，可能由于圖像數據集中VL目標對象的數量有限，涉及VL對象大小的相關性較低。此外，雖然CB和NoCB與其他目標對象特性的相關性是平衡的，但涉及OC和NoOC的相關性往往偏向于NoOC特性。

?實驗結果

這項研究的主要目標是識別能夠區分正確和錯誤決策的重要EEG特征。ERP分析突出了枕葉、頂葉和中央頂葉大腦區域內的關鍵片段，作為預測決策準確性的重要區分因素。進一步分析確定了對隨機森林分類器重要的EEG特征，強調了頂葉區域EEG通道的重要性。這一發現與之前的研究一致，強調了頂葉皮層在視覺搜索和決策任務中的關鍵作用。

研究的第二個重要目標是評估圖像特征對決策結果的預測能力。通過使用傳統和創新的特征提取方法，包括SAM，研究了基于圖像的信息對決策正確性的影響。SAM方法明確了基本圖像和目標對象特征之間的關系，對分類器特別有效。這突出了視覺信息在認知結果中的預測價值，與Li等人和Iigaya等人的研究結果相呼應，他們分別展示了圖像特征在分類視覺質量和預測參與者選擇行為中的潛力。

第三個目標是確定多模態融合的EEG和圖像特征是否能夠在預測決策準確性方面超越單一模態特征。通過嚴格訓練分類器使用多模態和單一模態特征集，我們一致觀察到多模態方法的優越性。這一發現與認知神經科學和機器學習領域日益增長的共識一致，即整合多個數據源可以顯著提高模型準確性。類似的好處已經在使用多模態數據的研究中報告，例如EEG和眼動追蹤用于情感和注意力分類，以及EEG與面部表情或語音信號用于情感識別。他們的結果進一步證實了多模態特征整合的有效性，表明這是一個提高認知科學和決策研究中預測模型的有前景的方向。

他們引入了一個以視覺搜索任務為中心的新穎決策制定實驗范式。這種范式旨在解決傳統歧視性決策任務的局限性，特別是正確猜測的高可能性，通過將偽裝對象作為目標。這種方法增加了任務的復雜性，要求參與者更多的注意力，從而引發了分析所必需的更明顯的認知模式。這種方法論創新是創造一個挑戰參與者并引發決策過程中強大神經生理標記的任務環境的關鍵。

通過參與具有偽裝目標的要求嚴格的視覺搜索任務，他們進入了一個可能與現有關于決策中大腦動態的發現不完全一致的領域。他們的方法與Luck的研究有相似之處，該研究也探討了在復雜視覺場景中的決策過程。這項研究強調了EEG成分在視覺處理中的重要作用，主要觀察到后腦區域的EEG成分。我們的發現證實了這些成分在受試者進行的視覺搜索任務中的參與，并且我們還識別了與決策過程和受試者重新評估其決策相關的晚期正電位（LPP）和晚期負電位（LNP）成分。這種解釋得到了最近研究的支持，豐富了我們對在視覺復雜任務中決策的神經基礎的理解。

此外，這項研究比較了使用單一模態EEG特征與圖像特征的分類器性能，以及群體水平和個體水平訓練之間的性能差異。他們的結果表明，EEG特征在一致性上超過了圖像特征，這一趨勢我們歸因于EEG數據的動態性質。與缺乏時間信息的靜態圖像特征不同，EEG數據在整個試驗過程中連續收集，捕捉大腦的快速反應以及試驗和參與者之間的固有變異性。這豐富的時間信息提供了與決策準確性相關的大腦活動的更詳細理解。個體水平和群體水平訓練之間性能的區別是由參與者和實驗條件之間的變異性驅動的。

在本研究中，EEG特征的分析揭示了決策過程中大腦活動的復雜性。通過事件相關電位（ERP）組件的觀察，研究團隊能夠識別出與決策正確性相關的顯著腦區和時間段。例如，ERP成分如P300，其振幅變化與決策任務中的注意力分配和工作記憶處理密切相關。這些發現不僅支持了先前的神經科學研究，而且還提供了一種新的視角來理解在復雜視覺搜索任務中的決策動態。通過精確測量和分析這些ERP成分，研究團隊成功地預測了參與者在特定任務中的表現，準確率顯著高于隨機水平，這證明了EEG特征在預測人類決策表現中的有效性。

圖像特征的分析側重于從視覺信息中提取決策相關的線索。研究中使用的圖像特征包括顏色、對比度、圖像質量以及利用Segment Anything Model（SAM）提取的目標對象特征。這些特征反映了圖像的視覺復雜性和目標對象的難以識別性，對于預測參與者在視覺搜索任務中的表現至關重要。實驗結果表明，圖像特征，特別是SAM提取的特征，能夠顯著提高預測模型的準確性。這些特征通過揭示圖像中的隱蔽信息，為理解決策過程中的視覺處理提供了寶貴的洞見。

將EEG和圖像特征結合起來的多模態方法在預測人類決策表現方面顯示出了顯著的優勢。多模態特征融合通過整合來自大腦活動和視覺感知的信息，提供了一個更全面的決策表現預測框架。實驗結果證實，多模態融合模型在準確性、精確性和F1分數等關鍵性能指標上均優于單一模態模型。這表明，多模態融合技術能夠有效地利用不同數據源中的互補信息，從而提高決策預測的準確性和可靠性。

總體而言，這些實驗結果強調了多模態融合在提高決策預測性能方面的潛力，為未來在高風險決策環境中開發先進的預測和警報系統提供了堅實的科學基礎。

?討論

?這項研究也有一些值得關注的局限性。首先，相對較小的數據集（只有14個受試者）可能限制了我們ERP發現的普遍性，并可能影響群體水平上分類器訓練結果的穩定性或可靠性。其次盡管圖像特征提供了檢測目標對象的挑戰洞見，但需要進行更全面的行為實驗，具有不同的難度水平和受控條件，以準確確定每張圖像的復雜性。這樣的數據將使我們能夠更細致地分析與對象檢測任務相關的大腦動態。他們計劃擴大和多樣化EEG和行為數據收集，以解決這些限制并增強他們發現的穩健性。

他們的研究有效地展示了利用多模態EEG和圖像特征來預測人類決策準確性的實用性。他們的結果表明，特別是來自頂葉皮層的EEG特征，顯著增強了分類模型的區分能力，這一點通過改進的分類指標得到了證明。此外他們引入了SAM作為提取圖像特征的技術，這在提高分類器性能方面已被證明是有益的。通過在視覺搜索和決策任務中加入偽裝對象來模擬現實世界的復雜性，他們的實驗范式緊密地反映了實際決策情境中遇到的挑戰，需要增加參與者的參與度。這些洞見為開發旨在預先提示基于決策準確性預測模型的潛在人為錯誤的先進故障警報系統鋪平了道路。?

本研究通過多模態融合技術，即結合EEG和圖像特征，為預測人類在復雜視覺搜索任務中的決策表現提供了新的視角。研究結果對于理解人類決策過程具有重要意義，尤其是在揭示大腦如何處理多種信息源以做出決策的機制方面。這些發現在實際應用中的潛在價值巨大，特別是在需要快速準確決策的高風險環境中，如醫療診斷、緊急響應和安全監控等領域。通過預測可能的錯誤決策，可以及時采取干預措施，從而減少不良后果。

盡管研究成果令人鼓舞，但也存在一些局限性。首先樣本大小相對較小，僅包括14名受試者，這可能限制了研究結果的普遍性和分類器訓練結果的穩定性。其次，特征選擇可能受到了現有技術和理論的限制，未來的研究可能會發現更有效的特征組合。此外，模型的泛化能力也是一個關鍵問題，當前的研究可能無法完全捕捉到不同個體和復雜環境下的決策行為。

未來的研究可以在多個方向上進行拓展。首先可以通過增加樣本量和多樣性來驗證和改進模型的泛化能力。其次可以探索更多種類的數據源和特征提取方法，以進一步提高預測準確性。此外，研究可以擴展到其他類型的決策任務，以測試模型在不同情境下的適用性。研究可以考慮實時數據處理和決策預測，這對于開發實時監控和預警系統尤為重要。通過這些努力，多模態融合技術在預測人類決策表現方面的應用前景將更加廣闊。（END）

參考資料：https://www.nature.com/articles/s41598-024-63651-2