[[231437]]

大數(shù)據(jù)文摘作品

編譯：傅一洋、笪潔瓊、魏子敏

提升數(shù)據(jù)分析能力正成為企業(yè)數(shù)字化轉(zhuǎn)型的當(dāng)務(wù)之急。

成功的企業(yè)數(shù)字化案例顯然有自己的共同點(diǎn)：重視數(shù)據(jù)質(zhì)量、重視數(shù)據(jù)上下文、以及建立有效的數(shù)據(jù)管理體制。

而失敗的企業(yè)則各有各的問題。

我們調(diào)研了118家公司的***信息官(CIO)、***技術(shù)官(CTO)、數(shù)據(jù)總管以及IT部門的員工及顧問，找到了這7種企業(yè)數(shù)據(jù)實(shí)踐中最可能出現(xiàn)的問題。

只做數(shù)據(jù)集中，并沒有對數(shù)據(jù)進(jìn)行整合

“數(shù)據(jù)整合是當(dāng)今數(shù)據(jù)分析面臨的***挑戰(zhàn)。”SAS公司的業(yè)務(wù)解決方案顧問，數(shù)據(jù)治理專業(yè)組織(DGPO)的***發(fā)言人Anne Buff說道。

實(shí)際上，許多公司只是簡單地將數(shù)據(jù)堆積在一起，并未對不同來源的數(shù)據(jù)進(jìn)行整合。就拿身份認(rèn)定來說，比如一套系統(tǒng)下“路人A”的信息與另一套系統(tǒng)下“路人A”(甚至可能是重名)的信息之間，沒有進(jìn)行關(guān)聯(lián)，這樣的話，就無法對“路人A”的身份進(jìn)行完整性描述。

“數(shù)據(jù)整合并不等于將數(shù)據(jù)集中到一起，”Buff說，“對于某個(gè)研究對象，要將不同來源的數(shù)據(jù)相互關(guān)聯(lián)，以便獲取更準(zhǔn)確的信息定位。一旦你這樣做，當(dāng)這一切相關(guān)數(shù)據(jù)都聚集在一起時(shí)，它將達(dá)到一個(gè)更完整的結(jié)果，即比爾史密斯是誰。你必須將它們關(guān)聯(lián)起來。”

Buff還說道：各種數(shù)據(jù)集成技術(shù)使之成為可能，同時(shí)，正確的選用、實(shí)現(xiàn)并執(zhí)行數(shù)據(jù)整合的技術(shù)，減少不必要的人工操作和重復(fù)勞動這點(diǎn)很重要。

數(shù)據(jù)科學(xué)家會通過數(shù)據(jù)來尋找并分析競爭優(yōu)勢，可能的突破點(diǎn)等等，因此，數(shù)據(jù)整合也變得越發(fā)重要。

“如果不將以往所有的數(shù)據(jù)整合，就無法發(fā)現(xiàn)其中的模式。”Buff說道。

忽視了不同業(yè)務(wù)對數(shù)據(jù)的需求差別

[[231438]]

“整合的集成數(shù)據(jù)技術(shù)對于一個(gè)成功的分析程序是至關(guān)重要的，必須要意識到不同業(yè)務(wù)部門對數(shù)據(jù)的需求是不同的，”Buff說道，“數(shù)據(jù)的形式不能千篇一律。相反，還需要考慮數(shù)據(jù)供給，IT部門需要將業(yè)務(wù)類型與數(shù)據(jù)形式相匹配。”

并不是所有的業(yè)務(wù)都需要整合過后的數(shù)據(jù)。以金融機(jī)構(gòu)的眾多需求為例，風(fēng)控部門需要未經(jīng)處理的原始數(shù)據(jù)，以從中發(fā)現(xiàn)異常。比如通過搜尋多組數(shù)據(jù)中某個(gè)人地址信息的，確定其是否申請了多筆貸款等。

“這些業(yè)務(wù)更傾向于研究多組相似數(shù)據(jù)間的差別，因此這些差別是要有所保留的。”Buff解釋道。

另一方面，諸如市場部等部門希望實(shí)現(xiàn)準(zhǔn)確的用戶信息定位，因此只需要其中正確的那組數(shù)據(jù)。

數(shù)據(jù)工程師可能比數(shù)據(jù)科學(xué)家更重要

數(shù)據(jù)科學(xué)家這個(gè)職業(yè)在過去幾年中正迅速搶占硅谷、紐約、中關(guān)村、西二旗的各大互聯(lián)網(wǎng)公司。一大批傳統(tǒng)企業(yè)也開始設(shè)置這個(gè)職位，并且大批招募。

畢竟，每個(gè)公司都希望通過勢頭正盛的新興技術(shù)使業(yè)務(wù)分析具有一定的預(yù)測性和分析說明，這需要專業(yè)團(tuán)隊(duì)和人員的支持。

但通常，這些公司掛出的招募崗位只有數(shù)據(jù)科學(xué)家這一種。

這是遠(yuǎn)遠(yuǎn)不夠的。

數(shù)據(jù)科學(xué)家需要數(shù)據(jù)工程師來收集數(shù)據(jù)集，但是，數(shù)據(jù)工程師這一職位，在許多公司沒有受到應(yīng)有的重視。

“目前，大公司對數(shù)據(jù)工程師的需求增速是對數(shù)據(jù)科學(xué)家需求的兩倍。” 貝恩公司舊金山辦事處合伙人，高級分析和數(shù)字化實(shí)踐負(fù)責(zé)人Lori Sherer這樣說。

美聯(lián)邦勞工統(tǒng)計(jì)局預(yù)測，目前數(shù)據(jù)工程師的平均年薪已經(jīng)達(dá)到135,800美元，且未來十年里，對數(shù)據(jù)工程師的需求將繼續(xù)保持快速增長態(tài)勢，2026年前將新增44200個(gè)相關(guān)的就業(yè)崗位。

有專家稱，同很多IT崗位一樣，數(shù)據(jù)工程師的人才供不應(yīng)求，部分企業(yè)會通過招聘或者從IT部門普通員工中選拔培訓(xùn)，來彌補(bǔ)這一人才缺口。

缺乏對數(shù)據(jù)時(shí)效性和生命周期的管理

[[231439]]

近十年來，隨著數(shù)據(jù)存儲成本不斷降低， IT部門可以將大量數(shù)據(jù)存儲起來，并保存很長的時(shí)間。對于不斷增長的數(shù)據(jù)量和數(shù)據(jù)分析需求來說，這是個(gè)好消息。

“公司都希望擁有大量數(shù)據(jù)。”Soaring Eagle咨詢公司的創(chuàng)始人、《挖掘新黃金：管理你的商業(yè)數(shù)據(jù)(Mining New Gold: Managing Your Business Data)》的合著作者Penny Garbus說道。

但Garbus同時(shí)認(rèn)為，許多企業(yè)都將數(shù)據(jù)留存的過久了。

“這不僅僅是存儲成本的問題，超過十年的數(shù)據(jù)基本沒有時(shí)效性了。”她說，“數(shù)據(jù)要被賦予生命周期。”

Garbus認(rèn)為，數(shù)據(jù)留存期限要根據(jù)不同部門、不同組織來確定。例如，零售行業(yè)需要的是即時(shí)和相關(guān)的數(shù)據(jù)，而市場部門需要多年來的歷史數(shù)據(jù)以探尋趨勢。

這需要IT部門根據(jù)不同部門的需求，制定一套明確的數(shù)據(jù)時(shí)效標(biāo)準(zhǔn)，從而確保數(shù)據(jù)的有效性。

Garbus還補(bǔ)充道，對于那些“老舊”數(shù)據(jù)，只要保證有就可以了，不要將其放在核心數(shù)據(jù)庫中。

只關(guān)注數(shù)據(jù)量而忽視數(shù)據(jù)相關(guān)性

“我們總喜歡用最容易獲得的數(shù)據(jù)進(jìn)行建模與分析，而不是最相關(guān)的。” Booz Allen Hamilton(IT咨詢公司)的高級副總裁Steve Escaravage說。

他認(rèn)為，這是目前公司或組織普遍存在的一個(gè)誤區(qū)。或許，在尋找更多的數(shù)據(jù)集之前，應(yīng)該先想想數(shù)據(jù)是否相關(guān)，而不是詢問我們是否有正確的數(shù)據(jù)。

比如，許多公司會從大量數(shù)據(jù)中尋找異常。盡管充分性很重要，但優(yōu)秀的公司同樣兼顧數(shù)據(jù)的針對性。他們會關(guān)注來自于特定個(gè)體和機(jī)構(gòu)的數(shù)據(jù)，并從中發(fā)現(xiàn)異常。比如醫(yī)療結(jié)構(gòu)在分析病例時(shí)，會考慮到醫(yī)生的輪班周期等。

Escaravage認(rèn)為，公司或組織可以列一個(gè)數(shù)據(jù)意愿清單，由業(yè)務(wù)部門填寫意愿，由CIO、CTO或***數(shù)據(jù)高管實(shí)現(xiàn)數(shù)據(jù)收集。

忽略數(shù)據(jù)來源

“當(dāng)今數(shù)據(jù)分析存在一個(gè)顯著的問題，是數(shù)據(jù)偏見。偏向性的數(shù)據(jù)會造成分析結(jié)果偏差，從而影響到正確的業(yè)務(wù)決策與結(jié)果。其中的偏見來源于整個(gè)分析過程涉及的許多個(gè)部門，包括IT部門處理數(shù)據(jù)方式，都會有一些偏見。”Escaravage說道。

“很多時(shí)候，IT部門在對數(shù)據(jù)來源的追蹤上，做的并不完善。如果無法意識到這一點(diǎn)，就會影響到數(shù)據(jù)模型的的性能，而且，缺乏數(shù)據(jù)來源的可見性使得對偏見的控制更為困難。”

Escaravage覺得，IT有義務(wù)搞清楚數(shù)據(jù)的來源在哪里，以及來源的相關(guān)情況。在投資數(shù)據(jù)管理的同時(shí)，也要制定一套源數(shù)據(jù)管理解決方案。

缺乏面向用戶的數(shù)據(jù)上下文

Escaravage認(rèn)為，不僅應(yīng)該有一個(gè)強(qiáng)大的源數(shù)據(jù)管理程序，它可以追蹤數(shù)據(jù)的來源，以及它是如何在系統(tǒng)中運(yùn)行的，它應(yīng)該為用戶提供一些歷史信息，并為一些通過分析產(chǎn)生的結(jié)果提供背景信息。

“有時(shí)我們會認(rèn)為，擁有***的數(shù)據(jù)和模型已經(jīng)足夠***，但是近幾年，由于分析方法越來越復(fù)雜，對數(shù)據(jù)和分析結(jié)果的解釋變得越來越少。不像前幾年，在將分析結(jié)果應(yīng)用于業(yè)務(wù)時(shí)，會根據(jù)業(yè)務(wù)規(guī)則對數(shù)據(jù)進(jìn)行分析闡述。”他說。

Escaravage解釋道，更新的深度學(xué)習(xí)模型為分析結(jié)果提供了一些注解，也為決策提供了一些可行的建議，但無法提供對***決策有幫助甚至至關(guān)重要的上下文，例如某件事情發(fā)生的可能性與確定性等信息。因此，需要能提供更好的用戶界面以幫助用戶進(jìn)行決策。

“其中的技術(shù)問題在于，要明確用戶與數(shù)據(jù)模型的交互程度如何。UI/UX界面決定了系統(tǒng)對用戶的透明度，而透明度取決于用戶對分析結(jié)果的鉆研深度，這些都是***信息官(CIO)在建立分析系統(tǒng)前，應(yīng)當(dāng)考慮清楚的。”

相關(guān)報(bào)道：

https://www-cio-com.cdn.ampproject.org/c/s/www.cio.com/article/3269012/analytics/why-data-analytics-initiatives-still-fail.amp.html

【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號“大數(shù)據(jù)文摘（ id: BigDataDigest）”】

戳這里，看該作者更多好文