大數據的下一革命——敏捷BI
本著務實的態度,利用較低的成本,通過對大數據進行高速捕獲和實時的分析,以獲取核心業務和戰略決策所需的關鍵信息,從而提升企業經營管理和戰略決策水平,最終創造巨大的商業價值,也許是對大數據價值的***詮釋。
在對大數據進行分析的過程中,傳統數據挖掘/BI(Business Intelligence)的做法是,IT人員事先根據分析需求來進行建模(以及做二次表或打Cube),提前匯總好數據,業務人員在前端查看分析結果報表。
這種做法很成熟,持續了很多年,但是也存在著一些問題:
1.業務人員查看的報表相對靜態,分析的維度和度量的計算方式已在建模時預先設定好,不能更改,比如定好了是求和或求平均數,想改成求方差必須回去修改模型;
2.分析需求變更時,業務人員不能直接調整報表,需要IT人員重新建模或修改已有分析模型,耗時較長,響應速度較久。
造成這些的問題的本質原因是,過去的技術架構針對海量數據的計算能力不足,需通過建模、二次表、Cube提前進行數據運算匯總。
解決方案——敏捷BI
隨著技術的發展和演進,BI領域已經迎來了新一代敏捷BI的革新。采用敏捷BI的數據分析優點包括:
-
分析報告不能只能看而不能動。數據展現是起點,而不是終點。看到了數據,要能交互式分析,要能深入向下挖掘,要能發現問題,要能找到答案,還要能采取行動。和數據交互的過程要足夠快,如果用戶每次點擊需要等三五分鐘才出結果,就無法進行交互分析。敏捷BI基于大數據的處理技術,對TB-PB級的數據可實現秒級響應;
-
分析報告應能讓非IT部門的同事直接在分析平臺上做出來。不能把所有的分析報告需求都提交到IT部門,這樣會嚴重增加IT部門的工作負擔。敏捷BI實施和操作簡單,業務人員可直接使用;
-
分析報告需求經常需要數據層的改動,需要IT部門去改進數據層和業務層,傳統BI平臺需要一兩個月去梳理模型。敏捷BI無需事先建模,可在分析過程中靈活調整分析維度和報表展現,需求變更可以在一天之內響應,提升企業的洞察力決策力。
敏捷BI的原理
與傳統BI的重量建模、統一視圖不同,敏捷BI采取輕量建模、N個視圖的方法,不建二次表和Cube,數據連進來直接可以進行分析,并且業務人員可以實時調整分析的維度和度量的計算方式,極大增加靈活性,真正做到和數據對話。
想必大家會有一個疑問,既然有這么便捷的方式,為何傳統BI不采用這種架構呢?正如上文所說,傳統的技術架構沒有引入現在的大數據技術,面對海量數據無法在用戶點擊的幾秒內就展現結果,因此必須通過建模提前把數據匯總好,才能保證分析報表展現時的速度。實現敏捷BI的大前提是采用新架構處理數據的性能有了幾十倍提升,涉及的技術包括分布式計算、內存計算、列存儲、庫內計算等。
因此,敏捷BI可以通過更低的成本、更短的上線周期,快速讓企業洞察到數據的含義和價值。
《自由人》里提到一句順豐快遞王衛說的話——有時候,僅僅是快,就能改變一個行業。
我們先來看一個真實案例。
某互聯網媒體/研究機構面臨以下問題:
-
•該機構是國內***的互聯網媒體/研究機構,70%以上的海外上市企業引用其研究分析報告。同時向客戶提供定制化咨詢報告的服務,分為提供線下報告和提供軟件兩種服務類型;
-
•客戶的定制化需求多變,若生成報告需3-4周交付周期,若提供軟件需半年交付周期。由于人工成本高,迭代周期太長,不敢承接太多報告需求的項目,每年只能做少數的定制化項目;
-
•因此,該機構希望借助BI工具提升業務效率和收入空間。
-
總結一下該機構的需求:
-
•項目的需求舉例:根據時間維度,網站匯總,進行用戶的來源地區、來路域名和頁面訪問次數,停留時間,有效訪問次數、跳出率、回訪者、新訪問者、回訪次數、回訪相隔天數等相關數據的統計。要能夠動態添加條件,通過對用戶行為監測獲得的數據進行分析,更加詳細、清楚地了解用戶的行為習慣;
-
•每天數據量幾千萬條,且不同網站客戶的分析需求是各自不同的,靈活變化的多維度分析需求對分析性能提出了更高的挑戰,傳統的數據庫以及Hadoop架構已經無法滿足高性能的即時分析需求;
-
•國外的產品,如IBM、SAP、Oracle等,價格較為昂貴,在幾百萬量級,難以承受;
-
•國內的產品大多是上一代BI,需事先建模再進行分析,難以應對靈活的多維度分析變化需求,且針對大數據量的處理能力不能滿足要求。
最終該機構采用了敏捷BI技術,將三個月的細節數據(約50億條)導入敏捷BI系統,直接定制報告的分析展現。這一舉措為客戶帶來了巨大的收益:
-
業務效率提升:采用敏捷BI工具后,對比原先基于Excel和SQL編程的分析方法,線下報告交付周期從3-4周縮短至小于1周,軟件交付從半年縮短至一個月;
-
項目來源增加:原先不敢承接需求未完全確定的項目,因擔心需求變化導致沒有能力交付。采用敏捷BI工具后,可在幾天內快速搭建原型向客戶展示,任意需求變更可在一周內調整完畢。通過這種快速原型試錯的方式,有了能力承接此類項目;
-
收入空間加大:由于業務效率的極大提升,有能力承接更多的項目,收入空間有了幾倍的增長;
-
客戶滿意度提升:能夠快速響應客戶的需求和變化,超出客戶預期,大幅提升了客戶滿意度和客戶留存率。
不僅如此,該機構后續還進行了創新模式的轉型:
-
基于敏捷BI工具,該機構構建了新型的SaaS平臺,進一步提升用戶體驗,為客戶提供直觀可交互的分析展現報告
-
通過SaaS的賬號銷售模式帶來穩定的長期可持續收入,改變了原先基于一個個獨立項目的營收模式
-
該機構的價值描述從媒體/咨詢服務公司向提供大數據服務的互聯網應用提供商轉變,大幅提升資本市場價值
-
旗下子機構迅速跟進敏捷BI工具的使用和新模式的改變
這是一個單一企業的案例,事實上,敏捷BI對個人、企業、乃至行業都會產生很大影響。
對個人的變革:
業務人員可以通過自服務的方式與數據進行交互式探索,更加敏捷的進行數據分析,洞察數據含義和價值。
IT人員不再被繁重的修改建模任務拖累其它高價值的工作,生產力得到釋放。
對企業的變革:
對擁有大數據的企業,如咨詢研究機構、互聯網營銷機構、輿情/商情分析機構、精準營銷機構、以及各行業的傳統企業,無論是內部使用數據,還是對外提供數據服務,都有了更加敏捷高效的方法。
對擁有小數據的企業或部門,在做市場分析、財務分析、銷售分析、客戶分析時,不用再用復雜的系統工具進行數據挖掘,分析的門檻極大降低,這意味著原來由于成本、實施周期、復雜度等門檻而被BI廠商排拒在外的廣大中小企業,可以通過敏捷BI真正開始數據挖掘之旅。
對行業的變革,以IT行業為例:
對應用廠商,如ERP、CRM、行業應用提供商,可以快速嵌入敏捷BI工具,來為客戶提供更多增值服務。
對實施商,BI的項目風險極大降低,項目周期極大縮短,短平快的出結果。
這是一場新的變革,大數據時代,涌現無數的數據掘金者,也需要有人來提供好鏟子。
36大數據知識圖譜:
產生背景:
敏捷這個詞匯最早于2001年被一些熱衷于改善軟件開發過程的軟件工程師用來描述一種能夠增加客戶滿意度的軟件開發過程–敏捷式開發過程。
什么是敏捷商業智能
在敏捷開發過程的12條基本原則中有6條原則可以用來描述敏捷商業智能。
優先級***的是通過盡早的、持續的交付有價值的商業智能軟件來使客戶滿意。
即使到了開發的后期,也歡迎改變需求,敏捷過程利用變化來為客戶創造競爭優勢。
在整個項目開發期間,業務人員和開發人員必須天天都在一起工作在團隊內部。
***有效果并且富有效率的傳遞信息的方法,就是面對面的交流。
簡單–使未完成的工作***化的藝術—是根本的。
***的構架、需求和設計出自于自組織的團隊。
敏捷商業智能產品
國外知名的Garnter關于敏捷商業智能產品報告中,位于***象限的敏捷商業智能產品有QlikView, Tableau和SpotView,對傳統商業智能產品巨頭形成了挑戰。國內BI產品起步較晚,有敏捷型商業智能產品 永洪科技的Z-Suite等。
敏捷是要商業活動中做出迅速反應。傳統的BI解決方案往往需要三個月甚至半年的實施周期。從數據建模到數據展現,整個研發周期冗長而低效。Z-Suite通過快速的響應周期、智能的優化、長期的積累,讓用戶在復雜的商業環境取得成功。