成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

雙十一大數據處理要控制成本

大數據
在大數據時代,最不缺伐的就是峰值流量的出現。一旦出現降價、打折或者平臺周年慶,當日的峰值流量將可能刷新平臺服務器承載上限,而這也意味著多種壓力共同提升,其中最容易被忽視的一部分在于數據。因為當天數據量會爆炸,如果不及時處理,這些數據的核心價值將會隨之而降低。

在大數據時代,最不缺伐的就是峰值流量的出現。一旦出現降價、打折或者平臺周年慶,當日的峰值流量將可能刷新平臺服務器承載上限,而這也意味著多種壓力共同提升,其中最容易被忽視的一部分在于數據。因為當天數據量會爆炸,如果不及時處理,這些數據的核心價值將會隨之而降低。

雙十一大數據處理要控制成本

流量峰值帶來數據爆炸

從去年的數據來看,我國電商業務的交易額達到了22.97萬億元,同比增長25.5%。這種增長率也意味著數據量飆升,從服務器、網絡、物流、售后和品控等多個方面的數據都會產生壓力。

服務器與網絡的數據壓力將首當其沖。每次活動前夕,程序員幾乎都要徹夜難眠,有時需要靠"玄學"祈禱才能幫助服務器度過難關。即便云服務器準備再充分,擴容再強,也很難保證千軍萬馬同一秒沖入活動界面時不會出問題。

商業促銷是各種數據的爆炸點

相應的,商業促銷也會帶動物流方面的數據的爆炸。去年我國快遞企業營收為4005億元,同比2015年增長44.6%。如此大量的訂單不僅存在的交通、工作人員等方面的難題,還有物流信息的處理、同步和管理等大量的難題。

品控和售后是對平臺品牌的保障,如果這兩步出了問題,那么平臺就會面臨口碑下滑,甚至活動起到相反的效果。而在活動期間,進行品控和售后都絕非簡單,這些數據的產生和消化都在考驗著工作人員和官方平臺的協調能力。

數據資源面臨時間考驗

在這些方面產生的大量數據之后,把活動期間產生的大數據簡單的統計然后丟棄顯然是一種資源浪費。想讓這些數據資源實現價值,在存儲、處理和分析等方面都存在不小的難題。

  • 第一,活動期間,企業將全面面臨人手不足的問題。因此程序員、運維人員和系統管理人員常常顧此失彼,數據處理和分析人員又不能招收臨時工應急,反還會被外借到其他部門去做緊急處理,從而讓大量的活動峰值數據面臨擱置危機。
  • 第二,活動期間是一個數據爆發點,這些數據具有大流量、高并發和急需求等多種特點。原本慢條斯理的數據處理工作面臨轉瞬即逝的問題,簡單來講這就像把一個月的工作堆積到一天去完成,數據處理難上加難。
  • 第三,數據處理等不得。事實上,所有的大數據都具有等不得的特點,數據的價值保質期僅有三個月,而以一些時效性較強的商業數據迭代速度更快,如果得不到處理,那么消耗大量資源存儲的商業數據自身價值就會急速下滑,對企業的指導作用都會相應的下降。

數據處理要成本把控

平臺開展促銷活動不僅僅是為用戶著想,也是對自身負載上限的一次考驗。在未來幾年中,我國的物流行業將會進入日均1億快件的節奏,這就意味著訂單量會爆發性增加,物流頻次加速,數據量繼續上升,數據處理的提速和降耗將會變成急需解決的問題。

數據處理提速目前提倡的是流式大數據處理,流式處理的優勢在于借助開源的分布式系統,運行數據流代碼時,分配數據到容錯力高的計算機中并行運行,從而達到低延遲、可擴展和容錯率高的目的。但這種處理方式最大的限制在于成本過高,尤其是對于超大量數據應用流式數據處理會讓平臺得不償失,以此處理所得的數據價值未必比成本更高。

數據處理降耗則是指降低在數據處理過程中的人力和財力消耗。在促銷活動期間,用人緊張導致人力資源價值提升,這就需要在數據價值和人力價值之間尋找平衡點;同時無法處理的數據在存儲和管理方面的成本也需要納入考慮范圍。

解決數據問題需要從多個層面來考慮:人力方面,數據價值是不可忽視的一部分,專業人從事專業事,讓人的價值最大化發揮;技術層面,將人工智能的深度學習和機器學習技術深化與大數據技術的結合,讓人在大數據處理流程中只指揮,不執行,把計算力還給云和HPC;數據層面,強化數據分流,將時效性明顯的數據優先處理,并且有選擇的進行數據清洗,降低存儲和管理成本,提高處理效率。

責任編輯:未麗燕 來源: 中關村在線
相關推薦

2015-11-11 15:17:16

雙十一單身陌陌

2023-07-14 14:24:00

MySQL熱點數據

2014-11-06 13:38:08

阿里云

2011-01-06 16:00:33

2015-10-13 14:23:30

微鯨

2019-01-03 10:55:26

2022-07-08 13:51:29

數據管理物聯網數據科學

2016-11-02 16:16:50

阿里云雙十一

2011-12-01 09:07:31

2010-09-27 14:39:22

Android

2012-11-10 21:21:59

淘寶大數據雙十一

2018-12-07 14:50:35

大數據數據采集數據庫

2020-11-02 15:56:04

大數據數據庫技術

2011-12-06 09:53:02

2021-02-10 08:38:22

云計算公共云

2016-11-07 14:39:23

2013-11-14 16:03:17

2012-12-26 10:17:55

大數據雙十一天貓

2021-10-18 21:42:39

手機雙十一促銷

2021-07-20 15:37:37

數據開發大數據Spark
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 午夜影院网站 | 中文字幕在线一区二区三区 | 性色av香蕉一区二区 | 视频一区二区中文字幕 | 亚洲精品美女视频 | 久久精品一区二区三区四区 | 亚洲国产精品自拍 | 欧美日韩一 | 香蕉婷婷 | 欧美人妇做爰xxxⅹ性高电影 | 成人影音 | 日韩精品在线一区 | 欧美成人手机在线 | 久久中文字幕视频 | 久久合久久| 二区三区视频 | 国产网站在线免费观看 | 亚洲欧美国产毛片在线 | 精品免费国产一区二区三区四区介绍 | 日韩成人在线免费视频 | 国产电影一区二区在线观看 | 欧美成人影院在线 | 操久久| 精品视频在线观看 | 中国大陆高清aⅴ毛片 | 久久精品国产精品青草 | 欧美韩一区二区 | 日本免费黄色 | 狠狠色综合欧美激情 | 亚洲视频欧美视频 | 中文字幕一区二区三区在线观看 | 亚洲精品91| 在线a视频网站 | 亚洲国产看片 | 国产高清免费视频 | 国产精品久久久久一区二区三区 | 亚州影院 | 蜜桃传媒av | 国产不卡一 | 特级黄色毛片 | 成人影院一区二区三区 |