在當今數字化時代，數據無處不在，但傳統的單一模態數據分析方法往往只能捕捉到部分信息，而忽略了跨模態關系中隱藏的重要洞察。多模態數據分析（Multi-Modal Data Analytics）應運而生，它整合了文本、圖像、音頻、視頻等多種數據源，為我們提供了一個更全面、更深入的視角。今天，我們就來深入探討一下多模態數據分析的魅力所在。

一、什么是多模態數據？

多模態數據是指將來自兩個或多個不同來源或模態的信息結合起來。這可以是文本、圖像、聲音、視頻、數字數據以及傳感器數據的組合。例如，社交媒體上的帖子可能包含文字和圖片，或者醫療記錄中可能包含醫生的筆記、X光片和生命體征測量數據，這些都是多模態數據的典型例子。

多模態數據分析的核心在于能夠隱式地建模不同類型數據之間的相互依賴關系。在現代人工智能系統中，這種融合方法能夠提供比單一模態方法更豐富、更強大的理解能力和預測能力，尤其在自動駕駛、醫療診斷、推薦系統等領域具有重要意義。

二、多模態數據分析是什么？

多模態數據分析是一套用于探索和解釋包含多種類型表示的數據集的分析方法和技術。它通過特定的分析方法處理文本、圖像、音頻、視頻和數值數據等多種數據類型，以發現模態之間的隱藏模式或關系。這種方法能夠提供比單獨分析不同數據源更完整、更準確的理解。

多模態數據分析的主要挑戰在于設計能夠高效融合和對齊多模態信息的技術。分析師需要處理各種類型的數據、結構、規模和格式，以揭示數據中的意義并識別模式和關系。近年來，機器學習技術，尤其是深度學習模型的發展，極大地推動了多模態分析的能力。例如，注意力機制和Transformer模型能夠學習詳細的跨模態關系。

三、數據預處理與表示

要有效地分析多模態數據，首先需要將數據轉換為兼容的數值表示形式，同時保留關鍵信息并能夠跨模態進行比較。這一步驟對于良好的融合和異構數據源的分析至關重要。

四、特征提取

特征提取是將原始數據轉換為一組有意義的特征的過程。這些特征可以被機器學習和深度學習模型高效利用，簡化模型的任務。以下是幾種常見模態的特征提取方法：

• 文本：將單詞轉換為數字（即向量）。如果詞匯量較小，可以使用TF-IDF；如果需要捕捉語義關系，則可以使用BERT或OpenAI等嵌入方法。
• 圖像：可以使用預訓練的CNN網絡（如ResNet或VGG）的激活層。這些算法能夠從圖像的低級邊緣到高級語義概念中捕捉層次化模式。
• 音頻：通過計算音頻信號的頻譜圖或梅爾頻率倒譜系數（MFCC）來實現。這些轉換將時域中的音頻信號轉換為頻域，突出顯示最重要的部分。
• 時間序列：使用傅里葉變換或波長變換將時間信號轉換為頻率成分。這些變換有助于揭示序列數據中的模式、周期性和時間關系。

每種模態都有其自身的特性，因此需要針對其特定特性采用特定的技術。例如，文本處理包括分詞和語義嵌入，圖像分析使用卷積來尋找視覺模式，音頻信號生成頻域表示，時間信息則通過數學方法重新解釋以揭示模式和周期。

五、表示模型

表示模型用于構建框架，將多模態信息編碼到數學結構中，從而實現跨模態分析和更深入的數據理解。常見的方法包括：

• 共享嵌入：為所有模態創建一個共同的潛在空間，使得不同類型的可以在同一個向量空間中直接比較和組合。

• 典型分析：通過統計測試識別跨模態的相關性最高的線性投影，從而實現跨模態理解。

• 基于圖的方法：將每種模態表示為圖結構，并學習保持相似性的嵌入。這些方法能夠表示復雜的關聯模式，并允許基于網絡的多模態關系分析。

• 擴散圖：多視圖擴散結合了內在幾何結構和跨關系，以在模態之間進行降維。它保留了局部鄰域結構，同時在高維多模態數據中實現降維。

這些模型構建了一個統一的結構，使得不同種類的數據可以進行比較和有意義的組合。目標是在模態之間生成語義等價性，使系統能夠理解圖像中的狗、單詞“狗”和狗叫聲都指的是同一件事，盡管它們的形式不同。

六、融合技術

在這一部分，我們將深入探討多模態數據融合的主要方法，包括早期融合、晚期融合和中間融合策略，并探討它們在不同分析場景中的最佳用例。

1. 早期融合策略

早期融合在處理開始之前，將來自不同來源和不同類型的數據在特征級別上進行組合。這使得算法能夠自然地發現不同模態之間的隱藏復雜關系。這種方法特別適用于模態之間共享共同模式和關系的情況，可以將來自不同來源的特征連接成組合表示。不過，這種方法需要謹慎處理不同數據規模和格式的數據，以確保正常運行。

2. 晚期融合方法

晚期融合與早期融合相反，它不是將所有數據源合并，而是獨立處理所有模態，然后在模型做出決策之前將它們組合起來。因此，最終的預測結果來自各個模態的獨立輸出。這種方法在模態為目標變量提供額外信息時效果良好，可以利用現有的單模態模型，而無需進行架構上的重大更改。此外，這種方法在測試階段處理缺失模態值時具有靈活性。

3. 中間融合方法

中間融合策略根據預測任務的不同，在不同的處理級別上組合模態。這些算法平衡了早期和晚期融合算法的優點，因此模型可以有效地學習個體和跨模態的交互作用。這些算法能夠適應特定的分析需求和數據特性，因此在優化基于融合的指標和計算約束方面表現出色，這種靈活性使其適合解決復雜的現實世界應用。

七、樣本端到端工作流程

接下來，我們將通過一個示例SQL工作流程，構建一個多模態檢索系統，并在BigQuery中執行語義搜索。為了簡化，我們假設多模態數據僅包含文本和圖像。

第一步：創建對象表

首先，定義一個外部“對象表”（images_obj），引用云存儲中的非結構化文件。這使得BigQuery可以通過ObjectRef列將文件作為可查詢數據進行處理。

CREATE OR REPLACE EXTERNAL TABLE dataset.images_obj
WITH CONNECTION `project.region.myconn`
OPTIONS (
 object_metadata = 'SIMPLE',
 uris = ['gs://bucket/images/*']
);

在這里，image_obj表會自動生成一個ref列，將每一行鏈接到一個GCS對象。這使得BigQuery能夠管理像圖像和音頻文件這樣的非結構化文件，同時保留元數據和訪問控制。

第二步：在結構化表中引用

接下來，我們將結構化行與ObjectRefs結合起來，以實現多模態集成。我們通過生成屬性并創建一個ObjectRef結構的數組作為image_refs，對對象表進行分組。

CREATE OR REPLACE TABLE dataset.products AS
SELECT
 id, name, price,
 ARRAY_AGG(
   STRUCT(uri, version, authorizer, details)
 ) AS image_refs
FROM images_obj
GROUP BY id, name, price;

這一步創建了一個包含結構化字段以及鏈接圖像引用的產品表，使得多模態嵌入可以在同一行中實現。

第三步：生成嵌入

現在，我們將使用BigQuery在共享語義空間中生成文本和圖像嵌入。

CREATE TABLE dataset.product_embeds AS
SELECT
id,
  ML.GENERATE_EMBEDDING(
    MODEL`project.region.multimodal_embedding_model`,
    TABLE (
      SELECT
        nameAS uri,
        'text/plain'AS content_type
    )
  ).ml_generate_embedding_result AS text_emb,
  ML.GENERATE_EMBEDDING(
    MODEL`project.region.multimodal_embedding_model`,
    TABLE (
      SELECT
        image_refs[OFFSET(0)].uri AS uri,
        'image/jpeg'AS content_type
      FROM dataset.products
    )
  ).ml_generate_embedding_result AS img_emb
FROM dataset.products;

在這里，我們將為每個產品生成兩個嵌入：一個來自產品名稱，另一個來自第一張圖像。兩者都使用相同的多模態嵌入模型，以確保它們共享相同的嵌入空間。這有助于對齊嵌入，并允許無縫的跨模態相似性比較。

第四步：語義檢索

現在我們有了跨模態嵌入，使用語義相似性查詢將匹配文本和圖像查詢。

SELECT id, name
FROM dataset.product_embeds
WHERE VECTOR_SEARCH(
    ml_generate_embedding_result,
    (SELECT ml_generate_embedding_result 
     FROM ML.GENERATE_EMBEDDING(
         MODEL`project.region.multimodal_embedding_model`,
         TABLE (
           SELECT"eco?friendly mug"AS uri,
                  'text/plain'AS content_type
         )
     )
    ),
    top_k => 10
)
ORDERBY COSINE_SIM(img_emb, 
         (SELECT ml_generate_embedding_result FROM
             ML.GENERATE_EMBEDDING(
               MODEL`project.region.multimodal_embedding_model`,
               TABLE (
                 SELECT"gs://user/query.jpg"AS uri, 
                        'image/jpeg'AS content_type
               )
             )
         )
      ) DESC;

這個SQL查詢執行了兩階段搜索：首先基于文本的語義搜索篩選候選結果，然后根據產品和查詢之間的圖像相似性對結果進行排序。這大大提升了搜索能力，你可以輸入一個短語和一張圖片，檢索出語義上匹配的產品。

八、多模態數據分析的優勢

多模態數據分析通過將多種數據類型整合到統一的分析結構中，改變了組織從多樣化數據中獲取價值的方式。這種方法的價值在于結合了不同模態的優勢，而單獨考慮這些模態時，它們提供的洞察力遠不如多模態分析有效：

• 更深入的洞察：多模態整合能夠揭示單模態分析所遺漏的復雜關系和相互作用。通過同時探索不同數據類型（文本、圖像、音頻和數值數據）之間的相關性，它能夠識別隱藏的模式和依賴關系，從而對被研究的現象形成深刻的理解。
• 更高的性能：多模態模型比單模態方法表現出更高的準確性。這種冗余構建了強大的分析系統，即使某個模態的數據存在噪聲（如缺失條目和不完整的條目），也能產生相似且準確的結果。
• 更快的洞察時間：SQL融合能力提高了原型設計和分析工作流程的有效性和速度，因為它支持從快速可用的數據源中快速獲取洞察。這種活動為智能自動化和用戶體驗提供了新的機會。
• 可擴展性：它利用了SQL和Python框架的原生云能力，使流程能夠最小化重復問題，同時加快部署方法。這表明分析解決方案可以適當擴展，無論級別如何提高。

九、總結

多模態數據分析是一種革命性的方法，通過整合多種信息源，能夠解鎖無與倫比的洞察力。組織正在采用這些方法，通過全面理解復雜關系（這些關系是單模態方法無法捕捉的），從而獲得顯著的競爭優勢。

然而，成功需要戰略性的投資和適當的基礎設施，以及健全的治理框架。隨著自動化工具和云平臺的普及，早期采用者可以在數據驅動的經濟領域中獲得持久的優勢。多模態分析正迅速成為處理復雜數據并取得成功的關鍵所在。

本文轉載自??Halo咯咯??    作者：基咯咯