充分利用企業數據是當今 IT 領導者最關心的問題。隨著企業在業務決策中尋求更多的數據驅動，IT 領導者必須制定數據戰略，以便從數據中創造價值，無論數據存在于何處或以何種形式存在。

對于許多企業來說，文本、視頻、音頻、社交媒體、圖像、傳感器和其他格式的非結構化數據仍然是難以捉摸和尚未開發的。據行業研究估計，多達 90% 的企業數據是非結構化數據，但根據 Foundry 的研究，61% 的 IT 領導者表示，管理非結構化數據是他們組織面臨的一個問題，另有 24% 的 IT 領導者甚至沒有將非結構化數據列入他們的數據和分析短名單。

非結構化數據資源對于獲得業務洞察力和解決問題極具價值。關鍵在于如何創造這種價值。能夠熟練利用這些龐大信息資源的企業，可以在為關鍵業務流程提供可操作的洞察力方面獲得顯著優勢。

下面我們來看看那些富有創造力的企業是如何將非結構化數據轉化為商業價值的，以及如何讓非結構化數據為您的組織工作的一些技巧。

01 ｜增強創意流程

移動游戲開發公司 RetroStyle Games 的數據分析師 Ivan Konoval 說，在該公司，非結構化數據已被證明是一座 “金礦”，可直接促進業務增長和游戲改進。

在 RetroSyle Games 使用非結構化數據的眾多方式中，影響最大的可能是收集概念圖和音頻數據。

Konoval 說：“我們游戲開發人員的創意過程往往始于草圖、情緒板或概念圖。"這些作品雖然沒有結構，但卻捕捉到了我們希望在游戲中表達的精髓。為了確保這些作品不會遺失在其他作品中，并在將來制作游戲續集時可以很容易地找到，我們使用了先進的圖像識別工具。”

這些工具會對作品中的各種元素進行分類和標記，無論是角色、風景還是其他元素。Konoval 認為：“這樣我們的美術師和開發人員就能快速找到相關的作品，從而保證設計的一致性，加快開發進程。此外，這個系統還允許我們存儲有關公司藝術品開發的信息，這在培訓新員工時非常有用。”

關于音頻數據，配音在玩家的游戲世界體驗中起著關鍵作用，科諾瓦爾說：“我們從游戲中的對話、背景聲音和玩家語音聊天中收集了大量數據。通過語音識別和聲音分析，我們可以提取出細微差別，如情緒和情感。”

例如，如果某個對話框導致玩家始終帶著興奮的情緒進入語音聊天，開發人員就會注意到這一點。同樣，背景噪音等與環境不符的異常情況也會被識別出來并加以解決。

Konoval 說：“從這些音頻數據中獲得的洞察力直接有助于改善游戲的音頻體驗，確保玩家在游戲中始終保持情感投入，并與環境互動。”

Konoval 指出，游戲是動態的，游戲產生的數據也是動態的。游戲內聊天情感分析等功能需要實時處理，以過濾玩家的不當行為。他說：“我們利用 Apache Kafka 等流處理框架解決了這個問題。這使我們的游戲管理員能夠實時應對任何新出現的模式和問題。”隨著每款游戲的發布和更新，處理的非結構化數據量都會呈指數級增長。他說：“如此龐大的數據量給存儲和高效處理帶來了嚴峻的挑戰。”

為了解決這個問題，RetroStyle Games 投資了數據湖。Konoval 說：“這不僅使我們能夠存儲大量非結構化數據，還能對其進行高效查詢和分析，為我們的數據科學家和開發人員提供即時訪問所需的信息。”

02 ｜為生成式人工智能提供動力

員工識別和體驗軟件供應商 Workhuman 正在其基于云的平臺上以多種方式利用非結構化數據，該公司分析主管兼執行董事 Jesse Harriott 表增：“非結構化數據是最普遍的數據形式，但也是最難有效利用的數據。”

"哈里奧特說："非結構化數據是最普遍的數據形式，但也是最難有效使用的數據。

Workhuman 云包含來自世界各地員工的數百萬條表揚信息，他們分享了對同事的積極反饋。

Harriott 說：“他們用自己的話來表達，因此每個表揚時刻都是完全獨一無二的。我們利用這些數據建立人工智能模型，幫助公司更好地定義員工在組織中的合作方式、信息中最常出現的主題以及整個組織的表彰獎勵是否公平。”

該公司還使用大型語言模型（LLM）來總結一段時間內的表彰趨勢，并為有效的表彰信息提供語言建議。

Harriott 說：“我特別自豪的一項舉措是我們的工具 Inclusion Advisor，這是一個基于人工智能的即時輔導工具，可以在獎勵語言發送給受獎人之前，識別并建議糾正無意識的偏見。”

從非結構化數據中獲取價值所面臨的最大挑戰之一是，對于企業重點關注的業務用例而言，獲得可靠、有效的培訓數據的途徑有限。

Harriott 表示：“你可以擁有大量的非結構化數據，但如果沒有有效的訓練數據來創建和驗證模型，進度和質量都會受到影響。利用 LLM 當然可以在這方面有所幫助，但現有的 LLM 無法有效捕捉許多業務用例。”

此外，Harriott 指出：“在 LLM 中，訓練數據仍可能存在偏差問題。Workhuman 有一個語言學團隊，負責數據注釋、增強和驗證，以解決其中的一些問題。我們還與大型跨國客戶合作，確保模型產生有意義和有用的結果。”

03 ｜將非結構化數據轉化為價值的技巧

Harriott、Konoval 和其他數據專家就如何確保在處理非結構化數據時取得成功提出了建議。

1. 將計劃與業務成果掛鉤。Harriott 認為，IT 領導者應確保利用非結構化數據的計劃與業務需求緊密結合，并得到高管的支持。

Harriott 說：“通常情況下，一個團隊可能對非結構化數據有一個創造性的使用案例，但與關鍵業務成果之間的聯系對其他人來說并不明顯，因此可能會失去支持。領導者有責任讓組織了解使用案例為何重要，以及如何直接或間接地推動業務效益。”

2. 認可過程。此外，數據領導者還應該設定并慶祝計劃的里程碑，尤其是考慮到利用非結構化數據創造價值的挑戰有多么困難。

Harriott 說：“讓非結構化數據具有可操作性可能需要比業務預期更多的時間和精力。通過認可里程碑，領導者可以讓其他利益相關者了解正在取得的進展，還可以確保團隊成員對他們為實現非結構化數據可操作性所付出的努力感到贊賞。”

3. 質量是第一要務。成功的另一個關鍵是優先考慮數據質量。

Konoval 說：“垃圾進，垃圾出'這句諺語再恰當不過了。在不確保數據質量的情況下進行分析可能會適得其反。我們一直采取這種方法：清理數據，刪除不必要的內容，確保數據符合質量標準。”

Konoval 指出：“在游戲行業。錯誤的決策可能會導致昂貴的功能開發，而玩家可能不會產生共鳴，更有甚者，可能會出現有損我們聲譽的錯誤。我們嚴格的數據治理框架確保了我們分析的基礎堅如磐石。”

4. 將可操作的數據與信息分開。優先考慮業務用戶可以采取行動的數據也至關重要。主機托管和數據服務提供商 DataBank 首席運營官 Joe Minarik 說：“重要的是數據量，以及能夠區分哪些是可操作的，哪些是信息性的。”

為了強調這一點的重要性，Minarik 以使用非結構化數據進行系統監控為例。他說：“必須對可操作的方面進行優先排序并快速處理。由于對系統的許多方面都進行了監控，因此一個問題就會從下游設備中產生警報和信息，導致警報、報警和信息過多，需要對這些信息進行篩選，以確定真正需要解決的單一方面。”

5. 充分利用人工智能。繼續舉例說明，Minarik 指出了人工智能和機器學習在長期分析非結構化數據流方面發揮的重要作用。他說：“它可以幫助你建立系統相關性。這可以讓你放棄噪音，立即找到根本問題。”

例如，企業可以部署命名實體識別（NER），這是自然語言處理（NLP）的一個組成部分，重點是識別非結構化文本中的命名實體并對其進行分類，標記如“人”、“組織”或 “地點”。

Minarik 指出：“在實際應用中，實體識別在眾多應用中發揮著至關重要的作用。這些應用包括索引和組織內容的信息檢索系統、在文本中定位答案的問題解答系統，以及根據識別實體個性化內容的內容推薦引擎。通過識別命名實體并對其進行分類，NER 使數據分析師和系統工程師能夠從收集到的大量數據中獲得有價值的見解。”

6. 通過可視化確保價值。Minarik 認為，使非結構化數據可用的過程并不止于分析。報告和結果交流是這一過程的高潮。

Minarik 說：“報告通常包括對主要發現、方法和分析意義的結構化呈現。可視化，如圖表、圖形和儀表盤，有助于以易于理解的格式傳達復雜的數據。可視化的表現形式不僅有助于理解，還能讓利益相關者更容易識別趨勢、異常值和關鍵見解，確保及時做出數據驅動的決策。”

7. 邊做邊監控。Minarik 說，另一個有時被忽視的關鍵做法是需要持續監控和維護。他說：“現實生活中的數據是動態的，不斷變化的。持續監控和維護是確保數據長期可用的關鍵。”

Minarik 表示，關鍵在于定期清理和執行質量檢查，以保持數據的準確性和可靠性。必須及時發現并糾正數據異常、不一致和重復，以防止分析出現偏差或錯誤。

8. 保持團隊技能的敏銳性。最后，投資開發正確的技能是一種良好的做法--鑒于基礎工具的不斷發展，這項工作必須持續進行。

Konoval 認為：“數據分析的世界，尤其是圍繞非結構化數據的分析，是動態的。最小的優勢，比如一支熟練掌握最新圖像識別技術和分析概念圖的團隊，就能決定一款游戲是成功還是失敗。我們已經看到先進技術的成果如何影響我們游戲的故事講述和設計，從而帶來積極的反饋并提高玩家的參與度。”

來源：www.cio.com