網易大數據:一站式解決開發、管理、分析等難題
Uber、Airbnb等公司的快速崛起,彰顯了大數據的商業潛力,然而,大數據項目的技術挑戰,導致許多企業積累多年的數據未能發力。為了幫助企業克服大數據應用的難題,網易大數據推出了平臺化的解決方案,著眼于大數據開發與管理、大數據可視化分析等層面,幫助企業一站式解決大數據落地的難題。
大數據應用的技術挑戰
互聯網的蓬勃發展,互聯網+的快速推進,以及人工智能的創業熱潮,無不得益于大數據及相關技術的運用。當前,大數據已經上升成為中國的國家戰略,互聯網和傳統行業決策者都迫切希望通過發揮大數據價值創新其商業體系。企業對大數據的渴望,并非出于趕時髦心理,亦非其他企業跨界經營的倒逼,而是要實現科學化決策和智能化、精細化運營,這是構建更健康、更高效、更具潛力的商業模式的必然需求。
知易行難,大數據落地的挑戰很大,傳統企業大數據應用尤其如此。按照兩點論的思想,將價值密度高的內部業務數據作為主要分析是自然的,但外部數據也是分析工作的重要補充——通過數據關聯可以產生更大的價值。根據中國信息通信研究院 2015 年對國內 800 多家企業的調研,50%以上的企業把內部業務平臺數據、客戶數據和管理平臺數據作為大數據應用最主要的數據來源,32%的企業通過外部購買所獲得的數據,18%的企業使用政府開放數據。
然而,這些數據的整合、分析并指導生產、營銷,并不是所有企業都擅長的。首先,企業需要一個數據開發平臺,能夠融合不同來源、不同格式的海量數據,并進行快速的計算,現實情況卻是企業內部也存在很多數據孤島,現有的集中式系統在性能、容量以及支持的數據類型等方面都存在短板,這與中國企業信息化進程有關。其次,從業務變化速度來說,企業需要能夠快速根據分析結果不斷優化業務。再次,大數據平臺還要能夠幫助企業快速找到并更好地服務于用戶,實現企業價值與社會價值。
總而言之,企業需要一整套的大數據解決方案,能力全面,能做統一的大數據開發與管理,承載力強,處理效率高,便于業務人員理解和改進業務,并且不會影響現有的業務系統。但對于企業而言,這是一個巨大的技術挑戰。
網易大數據平臺助力企業一站式“挖礦”
企業信息系統的完善,社交媒體、物聯網的應用,都讓數據金礦更加觸手可及。入寶山而空歸,無疑是商業組織的一大憾事。網易公司推出的大數據平臺,包括網易猛犸(大數據開發和管理平臺)、網易有數(敏捷數據分析平臺)和網易數據資產三大獨立而關聯的產品,從根本上幫助企業杜絕了這種遺憾的發生。
即將迎來20歲誕辰的網易,從互聯網的繁榮與泡沫中脫穎而出成為巨頭,大數據對業務的支撐發揮了重要的作用。網易杭州研究院成立以來,網易就集中大量人力進行分布式架構及數據存儲、處理、傳輸及任務調度等技術的研發,解決性能、容量、數據類型、成本等技術挑戰。當前,網易內部的大數據平臺每天處理的數據量已達PB級,日運行作業數超過7萬,穩定支撐金融、教育、電商、游戲、安全等各個業務。
網易大數據產品基于網易技術積累和實踐經驗研發,但并非技術模塊堆砌,而是充滿了場景化設計的印記。與傳統笨重的IT架構不同,網易猛犸立足互聯網邏輯,流程設計快捷靈活,包含快速傳輸技術,同時支持實時計算和離線計算(類似Apache Beam統一批處理和流處理的理念),讓企業可以集中化管理、處理數據。網易猛犸提供大量便捷操作,如質量校驗、模型反推開發任務等,并支持拖拽式可視化操作,讓用戶可以快速上手。
作為敏捷BI產品,網易有數提供可視化的操作方式,讓用戶可以靈活地構建數據模型,敏捷地進行多維分析,隨時隨地閱覽實時報表。網易有數支持EXCEl文件、傳統數據庫和大數據存儲系統的數據源,支持數據行列級別權限控制、億級數據秒級響應,這讓不同業務人員可以靈活地進行多維分析,快速地發現數據中的規律。
網易數據資產則全面整理網易和第三方大量分散的用戶數據,匯聚、清洗、深度建模,以標簽形式全方位量化用戶,形成精準用戶畫像,可以為企業進行個性化服務、精準營銷、征信/風控、客戶群洞察等打下堅實的基礎。