本文轉(zhuǎn)載自公眾號“讀芯術(shù)”(ID：AI_Discovery)。

數(shù)據(jù)化是大勢所趨，各種規(guī)模的公司都開始利用數(shù)據(jù)來進(jìn)行決策。但根據(jù)高盛2019年的一份報告，企業(yè)實際上很難通過數(shù)據(jù)來建立可持續(xù)的競爭優(yōu)勢。

我們團(tuán)隊曾與各行各業(yè)的公司合作并為其提供服務(wù)，見識過數(shù)據(jù)策略優(yōu)點和缺陷。我曾見到有團(tuán)隊成功建立了數(shù)據(jù)生命周期、儀表板、機器學(xué)習(xí)模型和指標(biāo)，但最后不得不解開、刪除、遷移和升級整個數(shù)據(jù)系統(tǒng)。

在這些項目中，我們看到了幾個反復(fù)出現(xiàn)的問題：數(shù)據(jù)治理不足;不良數(shù)據(jù);復(fù)雜的Excel文檔;數(shù)據(jù)團(tuán)隊與業(yè)務(wù)之間缺乏協(xié)調(diào);以及過多的儀表板，導(dǎo)致決策混亂。隨著發(fā)展，這些數(shù)據(jù)問題都會逐漸復(fù)雜化，并逐漸削弱團(tuán)隊或公司對數(shù)據(jù)的信任和使用能力。

在本文中，我們將討論其中的一些問題以及可以實施的解決方案，以改進(jìn)整體數(shù)據(jù)生命周期。

1. 數(shù)據(jù)和事實來源不一致

對于各種業(yè)務(wù)不同的工作流程，我們不可避免地要在多個地方輸入相同的數(shù)據(jù)。一個團(tuán)隊可能對一個業(yè)務(wù)流程使用Salesforce，而另一個團(tuán)隊可能使用Workday。這會導(dǎo)致在每個步驟輸入不一致的數(shù)據(jù)。其原因可能是時機錯誤或者人為錯誤。一旦這些不一致數(shù)據(jù)進(jìn)入公司的各個數(shù)據(jù)庫，就會對報告造成嚴(yán)重的破壞。

只要問問那些向主管提交報告的BI工程師或分析師，他們就會發(fā)現(xiàn)幾份報告間的數(shù)據(jù)略有不同。無論公司規(guī)模如何、數(shù)據(jù)成熟度如何，他們都將遭受這一困擾。我們的團(tuán)隊曾在多家公司工作過，也為各個行業(yè)提供咨詢，他們都面臨著這個問題。

解決方案1：制定數(shù)據(jù)治理策略

這通常可以通過數(shù)據(jù)治理策略來解決。數(shù)據(jù)治理涉及管理數(shù)據(jù)的有效性、可用性、完整性和安全性。

如何部署該數(shù)據(jù)治理策略取決于你是希望擁有一個緊密的、集中的數(shù)據(jù)流程，還是想要一個分散的、獨立的流程，流程偶有重合，以避免核心數(shù)據(jù)模型重疊。

數(shù)據(jù)治理不是一個性感的名詞。它不是數(shù)據(jù)科學(xué)或機器學(xué)習(xí)，但它是數(shù)據(jù)科學(xué)和機器學(xué)習(xí)部門的基礎(chǔ)。如果不能把握核心事實的來源，會導(dǎo)致許多相互矛盾的策略。

解決方案2：組建中央數(shù)據(jù)團(tuán)隊以快速做出決策

另一種策略——培養(yǎng)一個核心數(shù)據(jù)團(tuán)隊——對于想要快速發(fā)展的大公司來說不太推薦。該策略僅關(guān)注開發(fā)和管理數(shù)據(jù)集。當(dāng)公司規(guī)模較小時，數(shù)據(jù)團(tuán)隊本身也會很小，這個策略就能發(fā)揮作用。

當(dāng)需要對事實來源和數(shù)據(jù)完整性做出決定時，這種策略能讓我們很快得出結(jié)果。沒有必要管理多個團(tuán)隊或每個月召開一次集中會議。

2. 用Excel管理復(fù)雜的商務(wù)決策

[[354844]]

圖源：unsplash

Excel和電子表格持續(xù)推動著全球公司總值數(shù)十億美元的決策。即使是最聰明的公司，對Excel的依賴也會導(dǎo)致數(shù)百萬甚至數(shù)十億美元的錯誤。

例如，2008年，巴克萊銀行同意收購雷曼兄弟，但Excel的錯誤導(dǎo)致他們在并不打算購買的合同上吃了虧。

雷曼資產(chǎn)的詳細(xì)電子表格包含大約1000行，需要轉(zhuǎn)換為PDF格式。但在最初的Excel版本中，隱藏了179條巴克萊不想要的條目。他們備注的不購買的條目沒有被轉(zhuǎn)移到PDF文件中，但隱藏的行被轉(zhuǎn)移到了PDF文件中。結(jié)果，他們不得不購買179份自己不想要的合同。

無獨有偶，2012年，由于Excel錯誤，摩根大通損失了近60億美元。

Excel文檔是一種非常通用的數(shù)據(jù)工具，可以幫助團(tuán)隊管理很多工作流程。但是，由于復(fù)雜的設(shè)計、人為錯誤以及Excel的常規(guī)操作方式，這些文檔也很容易出錯。

解決方案1：像工程師對待代碼一樣對待Excel

如果你使用Excel來做重大決策，則應(yīng)像工程師對待代碼一樣對待它。也就是說，應(yīng)該有Excel檢查和測試用例。這看起來可能有點矯枉過正，但Excel非常像代碼。事實上，有些人甚至認(rèn)為它是第四代編碼語言。這意味著它很容易因邏輯、過程和輸入而產(chǎn)生錯誤。反過來，它也應(yīng)該被這樣對待。

不要只相信分析師，不管他們有多聰明，能做出多完美的Excel表。優(yōu)秀的程序員可能會制造bug，聰明的分析師也是如此。

因此，應(yīng)該進(jìn)行邏輯審查、測試用例和健全檢查，以減少這類錯誤。這一切看起來似乎沒有必要，除非你的公司因為不良信息而損失了大筆資金。

解決方案2：使用Python和SQL實現(xiàn)Excel自動化

為業(yè)務(wù)流程自動化開發(fā)干凈的數(shù)據(jù)工作流，這些業(yè)務(wù)流程定義明確且可以轉(zhuǎn)換為SQL和代碼。許多報告都需要從報告或數(shù)據(jù)庫表中復(fù)制和粘貼數(shù)據(jù)。除了復(fù)制和粘貼外，你還可以使用一些其它方法來開發(fā)可自動提供數(shù)據(jù)輸出的解決方案。

可以使用SQL、代碼和Excel相結(jié)合的方式來進(jìn)行有限的操作。盡管代碼依然容易出錯，但它通常可以通過限制錯誤和輸入數(shù)量的方式來編寫。Excel并非如此，Excel的靈活性是它易于出錯的原因。最佳解決方案取決于流程的復(fù)雜性、重復(fù)性以及根據(jù)數(shù)據(jù)解決方案做出的決策量。

3. 商業(yè)智能儀表盤過多，目的性不足

[[354845]]

商業(yè)智能儀表盤是非常強大的工具，可以幫助提取信息并提供見解和指導(dǎo)。然而，由于其易開發(fā)性和普及的便捷性，導(dǎo)致公司經(jīng)常被儀表盤淹沒。這些儀表盤并不總是與公司的優(yōu)先事項保持一致，它們本身可能不夠簡潔，無法做出決策，有時只是一些浮于表面的指標(biāo)。

儀表盤易于制造，但這并不意味著團(tuán)隊?wèi)?yīng)該快速推出它們。每個儀表盤都應(yīng)該具有實用意義。儀表板應(yīng)該驅(qū)動某種動作并發(fā)出通知。

解決方案1：問自己到底為什么要建立儀表板

為了避免開發(fā)過多的儀表盤，團(tuán)隊?wèi)?yīng)該制定一個流程，弄清楚為什么要建立儀表盤。我們經(jīng)常發(fā)現(xiàn)儀表只是在經(jīng)理或主管的要求下建成，并沒有經(jīng)過深思熟慮。這些儀表板最終會被扔進(jìn)儀表盤“墓地”。它們僅被使用一次，或者可能幾個月。然后突然被遺忘。在這種情況下，Excel報告可能會更好。

4. 試圖分析大量數(shù)據(jù)而沒有足夠的行動

我們注意到的一種較常見的模式是，大多數(shù)公司在達(dá)到一定規(guī)模和復(fù)雜度后，數(shù)據(jù)會多到不知如何處理。

這可能導(dǎo)致幾個問題。一些公司嘗試在大型數(shù)據(jù)倉庫項目中一次性從每個數(shù)據(jù)源中提取所有數(shù)據(jù)。這成本昂貴，耗費時間并且結(jié)果可能令人沮喪。公司最終會花費數(shù)十萬至數(shù)百萬美元來開發(fā)數(shù)據(jù)倉庫，卻發(fā)現(xiàn)這將花費兩年時間，并且耗費的資金是他們預(yù)算的兩倍。

解決方案1：進(jìn)行小規(guī)模、快速的數(shù)據(jù)戰(zhàn)役

不要試圖一次獲取所有數(shù)據(jù)，而是找出公司想了解更多信息的幾個關(guān)鍵領(lǐng)域。團(tuán)隊?wèi)?yīng)該制定一個計劃，以解決這些問題。它是儀表板，報告還是類似的東西?然后，這將推動許多數(shù)據(jù)倉庫的第一個版本。

公司應(yīng)該花費大量的時間來規(guī)劃數(shù)據(jù)倉庫的設(shè)計、主要實體、數(shù)據(jù)治理等等。但是，如果花了太多的時間來規(guī)劃，卻只是建立框架，那么最終企業(yè)所有者會感到焦躁不安。因此，在前進(jìn)的道路上取得一些小的成功可以保持人們的積極性。

[[354846]]

圖源：unsplash

5. 使用低質(zhì)量和不完整的數(shù)據(jù)

胡亂輸入，胡亂輸出。如果你在數(shù)據(jù)行業(yè)工作過一段時間，就會習(xí)慣聽到這句話。更啰嗦的說法是：根據(jù)錯誤的數(shù)據(jù)做出正確的決定，實際上還是錯誤的決定。將不良數(shù)據(jù)放入儀表板，報告和模型中只會提供無效的結(jié)果。

我們已經(jīng)看到，公司花費數(shù)月甚至數(shù)年的時間使用數(shù)據(jù)，大家都認(rèn)為這些數(shù)據(jù)是正確的且無人質(zhì)疑。但只要稍加挖掘，他們就會發(fā)現(xiàn)數(shù)據(jù)不完整、不準(zhǔn)確、不可信。每個公司都有不良數(shù)據(jù)。唯一的問題是：他們是否會使用這些數(shù)據(jù)來做出價值數(shù)百萬美元的決策?

解決方案1：創(chuàng)建自動質(zhì)量檢查系統(tǒng)

數(shù)據(jù)通常由人輸入，因此很容易出錯。團(tuán)隊需要開發(fā)某種形式的自動數(shù)據(jù)質(zhì)量檢查系統(tǒng)來管理這些錯誤。

在大多數(shù)系統(tǒng)中，數(shù)據(jù)量過大而無法手動檢查，這種情況下，有一個解決方案。用戶所做的大部分?jǐn)?shù)據(jù)質(zhì)量檢查都可以記下來，并放入自動質(zhì)量檢查系統(tǒng)中。這樣可以為整個公司節(jié)省數(shù)百至數(shù)千小時，并提高準(zhǔn)確性。

這些檢查可以是直接的數(shù)據(jù)檢查，即要確保輸入的所有國家都是真實的，也可以更多的動態(tài)檢查，例如進(jìn)行測試以確保每個月的總支出保持在特定范圍內(nèi)。總體而言，進(jìn)行這些初始的列級檢查和匯總檢查會非常有幫助。

解決方案2：始終使用集成測試

建立儀表盤時，尤其是具有計算字段、混合數(shù)據(jù)集和過濾器的儀表盤時，團(tuán)隊?wèi)?yīng)創(chuàng)建集成測試，以確保儀表盤工具內(nèi)的邏輯不會更改初始數(shù)據(jù)。

個人認(rèn)為應(yīng)該將盡可能地將邏輯限制在一個地方，例如查詢本身。由于通常不會發(fā)生這種情況，因此團(tuán)隊?wèi)?yīng)確保他們在儀表盤上看到的數(shù)據(jù)與他們輸入的數(shù)據(jù)匹配。

有許多簡單的集成測試可供使用。例如，也許你知道數(shù)據(jù)集應(yīng)包含1000個人。那么，建立一個基本的集成儀表盤，統(tǒng)計數(shù)據(jù)集中有多少人。這一點在使用Tableau中的混合功能時尤為重要。如果不仔細(xì)考慮最終數(shù)據(jù)，可能會導(dǎo)致很多問題。為避免這些問題，最好考慮一些基本的集成測試。

[[354847]]

圖源：unsplash

利用數(shù)據(jù)做出更好的決策可以為企業(yè)提供競爭優(yōu)勢。但是，數(shù)據(jù)質(zhì)量和數(shù)據(jù)流程的穩(wěn)健性確實會影響數(shù)據(jù)策略的成功與否。

僅創(chuàng)建儀表盤、數(shù)據(jù)倉庫和機器學(xué)習(xí)模型并不足以做出以數(shù)據(jù)為依據(jù)的決策。團(tuán)隊需要考慮其數(shù)據(jù)生命周期以及用于管理每個步驟的流程。這意味著創(chuàng)建測試用例、明確的目標(biāo)和流程，以幫助改善團(tuán)隊的績效和策略。

沒有人愿意被繁瑣的流程和官僚主義所困擾，但如果沒有團(tuán)隊數(shù)據(jù)生命周期的計劃或策略，就會讓陷入失敗，請?zhí)崆氨苊膺@個問題。