大數(shù)據(jù)項目如何落地之路線圖探討
今天,繼續(xù)來談一談“大數(shù)據(jù)項目如何落地?”這個話題。從事過多個大數(shù)據(jù)項目的規(guī)劃方案及項目落地工作,在這里與大家分享一些心得,主要是關(guān)于大數(shù)據(jù)項目如何成功落地并取得預(yù)期目標(biāo),也可以說這些是實踐出來的觀點(diǎn)。
對于一個大數(shù)據(jù)應(yīng)用項目/產(chǎn)品的落地,可以大致總結(jié)為五大步驟階段:
數(shù)據(jù)規(guī)劃、數(shù)據(jù)治理、數(shù)據(jù)應(yīng)用、迭代實施、商業(yè)價值。如下圖:
大數(shù)據(jù)項目落地路線圖
***階段:數(shù)據(jù)規(guī)劃
一個成功的大數(shù)據(jù)項目,需要有一個良好的開端,即做好數(shù)據(jù)規(guī)劃階段的各項工作,具體包括:
- 戰(zhàn)略意圖:在這個階段,要明確戰(zhàn)略意圖,這個戰(zhàn)略意圖需要在相關(guān)干系部門之間達(dá)成一致和共識,換句話說就是為什么要搞這個大數(shù)據(jù)項目?
- 戰(zhàn)略規(guī)劃:戰(zhàn)略意圖清晰以后,就可以作為貫穿整個項目過程的燈塔,接下來要需要將戰(zhàn)略意圖轉(zhuǎn)變?yōu)閼?zhàn)略規(guī)劃,通過戰(zhàn)略規(guī)劃來進(jìn)一步讓相關(guān)干系部門和人員清晰的認(rèn)識到這個大數(shù)據(jù)項目將要做什么?
- 商業(yè)目標(biāo):戰(zhàn)略規(guī)劃完成后,就要明確這個大數(shù)據(jù)項目的商業(yè)目標(biāo),即通過這個大數(shù)據(jù)項目實施,為企業(yè)帶來怎樣的商業(yè)價值?是降低成本呢,還是擴(kuò)大營業(yè)收入,亦或是通過創(chuàng)新業(yè)務(wù)為企業(yè)帶來新的價值增長點(diǎn)?
- 執(zhí)行方針:商業(yè)目標(biāo)確定以后,需要進(jìn)一步來確定該大數(shù)據(jù)項目的執(zhí)行方針,包括:項目執(zhí)行的基本原則、利益分配原則、分歧處理原則等等。
- 組織支撐:上述Action完成后,就需要建立對應(yīng)的項目組織了,成立項目小組,明確相關(guān)崗位以及崗位職責(zé),根據(jù)不同的戰(zhàn)略意圖、戰(zhàn)略規(guī)劃、商業(yè)目標(biāo)和執(zhí)行方針,建立不同架構(gòu)和規(guī)模的組織。
- 上述Action還都屬于項目可以成功落地的先導(dǎo)性工作,那么接下來就是許多細(xì)致的具體工作,這些具體工作都是保障項目可以成功落地的基石。
- 產(chǎn)品(項目)規(guī)劃:協(xié)同各個干系的部門和干系人,有效的建立起來項目內(nèi)容規(guī)劃機(jī)制,完成產(chǎn)品(項目)的總體規(guī)劃。
- 場景規(guī)劃:完成產(chǎn)品(項目)的總體規(guī)劃,作為大數(shù)據(jù)項目,需要繼續(xù)規(guī)劃出主要的應(yīng)用場景,場景規(guī)劃是有效地推動后續(xù)步驟階段的基礎(chǔ),場景如果規(guī)劃的不清晰,直接會影響到后續(xù)的一系列Action的執(zhí)行。
- 需求評估:產(chǎn)品(項目)規(guī)劃、場景規(guī)劃完成后,需要將規(guī)劃內(nèi)容反復(fù)與各個干系部門和干系人進(jìn)行溝通與確認(rèn),最終形成項目需求說明書,同時完成需求的評估,評估相關(guān)規(guī)劃和需求是否可以滿足戰(zhàn)略意圖、戰(zhàn)略規(guī)劃以及商業(yè)目標(biāo)。
上述Action完成后,需要從架構(gòu)和落地角度,進(jìn)一步深化:
架構(gòu)規(guī)劃:根據(jù)已完成的產(chǎn)品(項目)規(guī)劃、場景規(guī)劃和需求評估,從落地的角度完成數(shù)據(jù)架構(gòu)規(guī)劃,架構(gòu)規(guī)劃是項目成功落地的重要環(huán)節(jié)。
有的大數(shù)據(jù)項目,還需要引入第三方的數(shù)據(jù)支持,以及體系內(nèi)其他非干系部門的數(shù)據(jù)支持,這樣就需要進(jìn)行有效合作。
合作意圖:如果項目需要引入第三方的數(shù)據(jù)支持,以及體系內(nèi)其他非干系部門的數(shù)據(jù)支持,需要充分評估項目風(fēng)險與合作意圖,有效達(dá)成合作共識。
第二階段:數(shù)據(jù)治理
***階段的工作完成以后,已經(jīng)具備了一個大數(shù)據(jù)項目成功落地的良好基礎(chǔ),接下來就需要按照數(shù)據(jù)規(guī)劃階段的成果繼續(xù)后續(xù)的環(huán)節(jié),首先要做的就是要有數(shù)據(jù),并且要有高質(zhì)量的數(shù)據(jù),數(shù)據(jù)到位才能保障項目的有效推進(jìn)和執(zhí)行:
- 來源評估:在數(shù)據(jù)治理階段,首先要進(jìn)行數(shù)據(jù)來源評估,展開數(shù)據(jù)梳理相關(guān)的工作,及時發(fā)現(xiàn)數(shù)據(jù)來源可能存在的風(fēng)險并加以處理。來源評估完成后,確認(rèn)可以有效獲取到所需要的對應(yīng)數(shù)據(jù)來源的數(shù)據(jù),就可以進(jìn)行數(shù)據(jù)的獲取工作了。
- 數(shù)據(jù)采集:數(shù)據(jù)采集是一個很重要的工作,只有把數(shù)據(jù)采集來,才能進(jìn)行一系列的大數(shù)據(jù)相關(guān)的工作。數(shù)據(jù)采集過程中,注意數(shù)據(jù)采集的有效性。
- 數(shù)據(jù)預(yù)處理:為了更好的、更有效的存儲有價值的數(shù)據(jù),同時方便系統(tǒng)對數(shù)據(jù)的使用,部分?jǐn)?shù)據(jù)可以做預(yù)處理。
- 數(shù)據(jù)質(zhì)量:數(shù)據(jù)質(zhì)量環(huán)節(jié)很重要,如何有效保證數(shù)據(jù)的質(zhì)量?直接影響著大數(shù)據(jù)項目的實施效果,在這個環(huán)節(jié)中,要投入很多的精力去形成標(biāo)準(zhǔn),并建立相對自動化的數(shù)據(jù)質(zhì)量系統(tǒng)。
上述的幾個環(huán)節(jié),必要時需要借助專業(yè)的產(chǎn)品工具。
數(shù)據(jù)管理:數(shù)據(jù)管理工作,將影響項目的整個周期,建議采用專業(yè)的數(shù)據(jù)管理產(chǎn)品和工具,或借助有開發(fā)能力的供應(yīng)商量身定做一套數(shù)據(jù)管理系統(tǒng)。
第三方數(shù)據(jù):可以通過數(shù)據(jù)資產(chǎn)置換、購買等等方式完成第三方數(shù)據(jù)的接入。
在整個第二階段會形成一系列的標(biāo)準(zhǔn)和流程,這里不一一贅述。
第三階段:數(shù)據(jù)應(yīng)用
***、第二階段工作完成以后,就將進(jìn)入最重要的第三階段工作,在這個階段中,我們將承前啟后的推動大數(shù)據(jù)項目完成落地工作,真正去形成大數(shù)據(jù)的應(yīng)用,帶來真實的業(yè)務(wù)價值:
場景細(xì)分:在這個階段,對于***階段中形成的場景規(guī)劃,要進(jìn)行可被實現(xiàn)的場景細(xì)分,通過對場景的細(xì)分,形成一個個的用例(Use Case)。
干系組織利益共識:通過場景的細(xì)分后的一個個用例(Use Case),已經(jīng)可以很好的明確給各干系組織帶來的業(yè)務(wù)價值,在這個時候需要推動各個干系組織形成利益共識,以免由于利益問題導(dǎo)致項目執(zhí)行的阻礙。
完成上述Action后,就需要借助供應(yīng)商的參與和力量繼續(xù)完成后續(xù)的Action。
- 功能規(guī)劃:經(jīng)過上述Action環(huán)節(jié),項目已經(jīng)進(jìn)入重要的落地階段,需要根據(jù)已經(jīng)整理好的用例(Use Case)、數(shù)據(jù),形成具體的功能規(guī)劃。這些功能規(guī)劃,需要是可被準(zhǔn)確識別和實現(xiàn)的,直接對應(yīng)了大數(shù)據(jù)應(yīng)用系統(tǒng)的功能點(diǎn)。
- 技術(shù)選型:完成了功能規(guī)劃,就需要進(jìn)行技術(shù)選型工作,由于大數(shù)據(jù)相關(guān)的技術(shù)非常多,這項工作需要借助專業(yè)供應(yīng)商的力量來一起完成,需要充分考慮非功能性指標(biāo),比如:性能要求等等。
- 產(chǎn)品選型:技術(shù)選型后,需要根據(jù)選擇的技術(shù)路線,來找到可供選擇的、符合技術(shù)路線的產(chǎn)品,完成產(chǎn)品選型工作,如:數(shù)據(jù)科學(xué)平臺等等。
- 應(yīng)用分析模型設(shè)計:大數(shù)據(jù)項目的一個重要的內(nèi)容,就是要通過數(shù)據(jù)來形成各種應(yīng)用分析模型,借助類似于數(shù)據(jù)科學(xué)平臺類的產(chǎn)品,可以快速有效形成各種預(yù)測分析模型。完成這個環(huán)節(jié)的工作,需要有數(shù)據(jù)科學(xué)家、業(yè)務(wù)分析師等等一系列的角色參與相關(guān)工作。或者說引入第三方的成熟產(chǎn)品,如客戶智能分析平臺、物聯(lián)網(wǎng)智能分析平臺、運(yùn)營智能分析平臺等等,通過引入這些產(chǎn)品來直接引入成熟的分析模型。
技術(shù)選型、產(chǎn)品選型以及應(yīng)用分析模型建立后,就需要進(jìn)行驗證工作了,主要包括場景PoC和商業(yè)驗證。
PoC:選取具有典型代表意義的大數(shù)據(jù)應(yīng)用場景,進(jìn)行現(xiàn)場的PoC驗證工作,通過PoC,修正和完善每個用例(Use Case),同時驗證技術(shù)選型、產(chǎn)品選型的正確性,發(fā)現(xiàn)問題及時處理,甚至重新選擇技術(shù)與產(chǎn)品。
商業(yè)驗證:PoC環(huán)節(jié)完成后,還需要進(jìn)行商業(yè)驗證,驗證和評估一些關(guān)鍵場景用例(Use Case)的應(yīng)用效果,評估和預(yù)測是否可以達(dá)成商業(yè)目標(biāo),從而推導(dǎo)出達(dá)成商業(yè)目標(biāo)可能存在的問題和風(fēng)險,進(jìn)行修訂與處理,必要調(diào)整各個干系部門和干系人之間的利益共識。
第四階段:迭代實施
前三個步驟階段的工作有效得完成后,就進(jìn)入了第四步驟階段迭代實施,之所以是迭代實施,也跟大數(shù)據(jù)類項目的特征有關(guān),就如大數(shù)據(jù)建立分析模型是一種探索的過程一樣,大數(shù)據(jù)項目的執(zhí)行也需要進(jìn)行不斷的驗證、修正、實施這樣的工作,可能需要經(jīng)過多輪的迭代才能完成項目的建設(shè):
- 模型應(yīng)用:第三階段中經(jīng)過PoC和商業(yè)驗證的模型,需要開發(fā)為特定的大數(shù)據(jù)分析應(yīng)用才能最終為使用者所使用并發(fā)揮價值。在模型應(yīng)用過程中,注意模型的規(guī)約和使用條件,注意與現(xiàn)有系統(tǒng)的融合。
- 系統(tǒng)開發(fā):系統(tǒng)開發(fā)工作是保證模型應(yīng)用環(huán)節(jié)有效達(dá)成的手段,同時通過系統(tǒng)開發(fā)能力可以開發(fā)出圍繞大數(shù)據(jù)分析應(yīng)用的外圍系統(tǒng)。
- 效果評價:效果評價環(huán)節(jié),主要是組織相關(guān)干系組織與干系人,對實施效果進(jìn)行研討和確認(rèn),同時對利益共識進(jìn)行確認(rèn)和達(dá)成一致,如果沒有達(dá)到預(yù)期效果則繼續(xù)進(jìn)行迭代改進(jìn)。
- 業(yè)務(wù)驗證:業(yè)務(wù)驗證工作是保障大數(shù)據(jù)分析應(yīng)用項目真正可以融合于業(yè)務(wù)、服務(wù)于業(yè)務(wù)的重要手段,業(yè)務(wù)驗證建議從業(yè)務(wù)流程是否通暢、關(guān)鍵業(yè)務(wù)點(diǎn)是否達(dá)到預(yù)期目標(biāo)、是否對業(yè)務(wù)辦理產(chǎn)生障礙等等多方面進(jìn)行。驗證人員需要是使用該大數(shù)據(jù)分析應(yīng)用系統(tǒng)的一線業(yè)務(wù)人員。
如果上述的環(huán)節(jié)發(fā)現(xiàn)了重大問題,則針對問題形成改進(jìn)方案后進(jìn)入迭代改進(jìn)環(huán)節(jié)。
迭代改進(jìn):迭代改進(jìn)分為小迭代和大迭代,小迭代是在同一期項目中完成的,受到項目上線周期的制約,小迭代可以改進(jìn)的問題是有限的、小型的。對于影響范圍巨大,難度較高的問題需要進(jìn)入大迭代改進(jìn),大迭代一版來說可以規(guī)劃為項目的二期、三期等等,直到達(dá)成預(yù)期的戰(zhàn)略意圖、戰(zhàn)略規(guī)劃和商業(yè)目標(biāo)。
經(jīng)過上述的Action環(huán)節(jié),一個成功的大數(shù)據(jù)應(yīng)用項目終于落地了,這也僅僅是落地的開始,接下來的工作是檢驗項目成果和真正發(fā)揮大數(shù)據(jù)價值的時刻:
實施推廣:圍繞項目的戰(zhàn)略意圖、規(guī)劃和商業(yè)目標(biāo),進(jìn)行有效的實施推廣工作將變得非常重要,良好的實施推廣工作可以真正讓大數(shù)據(jù)應(yīng)用分析項目用起來,讓數(shù)據(jù)“活”起來,源源不斷產(chǎn)生價值。推廣過程,要巧妙的運(yùn)用各個干系部門和干系人之間的利益共識。
數(shù)據(jù)安全:大數(shù)據(jù)項目有自己的特點(diǎn)就是一切都圍繞數(shù)據(jù)來展開,說到數(shù)據(jù)就會涉及到一些隱私數(shù)據(jù)、高密級數(shù)據(jù)等等,不管在開發(fā)過程中、還是在推廣過程中,亦或是在第二階段的數(shù)據(jù)治理過程中,都需要嚴(yán)格遵守相關(guān)信息安全和數(shù)據(jù)保密的規(guī)劃,從技術(shù)上和使用上都要保證數(shù)據(jù)的安全。數(shù)據(jù)安全是一個大數(shù)據(jù)項目真正可以成功的重要內(nèi)容。
第五階段:商業(yè)價值
前面四個步驟階段工作很好的完成后,就是享受大數(shù)據(jù)應(yīng)用項目成果的時刻了,相信在前面四個階段的各個環(huán)節(jié)中,各個項目參與人員都受到了或多或少的各種折磨,不過這些折磨都是值得的,因此大數(shù)據(jù)項目真正可以為企業(yè)帶來不可以預(yù)想的巨大價值,只有上馬了成功大數(shù)據(jù)項目的企業(yè)才能深深體會到。
在這個階段中,企業(yè)獲得了:
- 數(shù)據(jù)資產(chǎn):企業(yè)的數(shù)據(jù)資產(chǎn)是大數(shù)據(jù)應(yīng)用項目帶來的重要成果,也是推動企業(yè)創(chuàng)新、產(chǎn)業(yè)升級、企業(yè)轉(zhuǎn)型等等的財富。
- 數(shù)據(jù)服務(wù):通過大數(shù)據(jù)應(yīng)用項目的實施,可以有效推動企業(yè)的數(shù)字化轉(zhuǎn)型工作,圍繞數(shù)據(jù)資產(chǎn)形成數(shù)據(jù)服務(wù)的能力。
- 決策支持:通過大數(shù)據(jù)的預(yù)測分析能力,有效提升了企業(yè)的決策支持能力。
有效獲取了內(nèi)部商業(yè)利益價值、外部商業(yè)利益價值,真正去實現(xiàn)了企業(yè)建設(shè)大數(shù)據(jù)應(yīng)用項目的戰(zhàn)略意圖、戰(zhàn)略規(guī)劃和商業(yè)目標(biāo)。
題外話
如果企業(yè)的大數(shù)據(jù)能力和人員有限,上述路線圖中提到的每個步驟階段,都可以引入供應(yīng)商來協(xié)助企業(yè)完成。既可以選擇一家供應(yīng)商負(fù)責(zé)完成整個項目過程的建設(shè),也可以分步來實施,在不同的階段選取不同的供應(yīng)商來完成。
一般來說,建議后面三個階段***選擇一家有綜合能力的供應(yīng)商來總包實施,這樣可以更好完成項目的預(yù)期目標(biāo)。
下圖大致總結(jié)了選擇合作伙伴的一點(diǎn)參考,僅供參考:
大數(shù)據(jù)項目落地路線圖,供應(yīng)商選擇參考
以上是“大數(shù)據(jù)項目如何落地?”路線圖,是一些項目心得,也可以說這些是實踐出來的觀點(diǎn),期望對大家有所幫助。