WOT2015何岳娟:數據分析助電商笑對用戶蜂擁而至這件好事
原創許多電商平臺都會經歷相似的過程:流量和業績每年以幾倍至十幾倍的速度增長;瞬間訪問量可能是平時的幾十倍;網絡帶寬被占滿,用戶響應很慢;機器負載高甚至宕機;數據庫壓力過大導致服務不可用……
大數據技術的發展引發眾多電商架構師思考,在面對用戶蜂擁而至這件好事,如何在海量數據處理中實時發現有效信息,為構建穩定高效的系統架構設計提供指導。在【WOT2015"互聯網+"時代大數據技術峰會】 現場,魅族電商平臺高級架構師 何岳娟就魅族電商平臺架構變遷之路的經驗和體會和51CTO記者進行交流。
高速發展下的問題
何岳娟告訴記者,魅族電商架構分為四個層級:
- 業務層:第三方天貓,京東,蘇寧與官網的商城及APP;
- 業務服務層:交易,新品發布,手機導購,推薦服務為各平臺提供營銷策略;
- 基礎服務層:訂單,用戶,支付,庫存,圖片等為業務服務與營銷層提供基本的服務點;
- 據層存儲層:MySQL, NoSQL, MQ , HBase以及一些分布式文件系統
基于這四個層級產生的數據建立分析平臺, 對用戶行為用戶需求進行分析。
隨著魅族近兩年的發展,用戶對其電商平臺的關注度越來越高,用戶增長速度非常快。在享受這種進步的同時,平臺性能也在經歷嚴峻考驗。談及貫穿平臺架構變遷之路的指導思想,何岳娟將提升高可用、高并發、容災性三個能力的提升視為核心,來實現對網站穩定性能的保障。搶購場景中LVS崩潰、DDoS攻擊、刷單帶來的高并發以及搶購時服務器如何實現快速擴容等,都是在業務高速發展下迫切需要解決的問題。
變遷之路繞了哪些遠
在針對這些問題進行平臺架構變遷的過程中,何岳娟和魅族技術團隊曾經也走過許多彎路。比如說之前用GLSB、OSPF、智能DS分發解決數據容災問題。但采用OSPF時,要對整個機房交換部署模式進行變造,影響非常大。而且,OSPF也并不能很好地解決魅族電商平臺高并發故障遷移的問題。
這是因為在遭遇高并發時,LS、分發服務器不保證不會崩潰,一旦崩潰,轉給其他的分發服務器,其他的分發服務器也不具備承受能力。魅族后來直接放棄了這個方案,結合業務需求和自身能力,改為族采用放棄一部分用戶然后采用活動能正常的進行下去來做LS斷點的問題。
新方案的優勢在于,當一個機房的LS宕或是群宕掉時,可以自動切換到其他機房。何岳娟秀露,魅族計劃采用GLSB,進行大LS的方案解決以后更高并發的模式以及以后跨機房容災的問題。
利用數據評級防止誤傷
對于“黃牛”這個世界性難題,魅族在最開始把只它看成功能性防御。但實際上,這種數據請求的模式極有可能出現偽造數據。因此,魅族通過對用戶行為數據分析構建了信用分值評估系統,如果用戶行為數據是偽造數據的話,在進行分析時可以看到,這些數據非常“死板”。
所謂“死板”,就是說黃牛一般只會注冊一個帳戶,而不會關注魅族官網,在網站只留下非常有限的行為信息,可以將具有這種特點的用戶看作是是死點用戶。而如果是在整個官網體系里比較活躍的用戶,系統會將他評為優質用戶。
一般來講,面對評級較低的用戶,系統在做防殺時會有一些“誤傷”的現象。為了避免一些評級較低的用戶無法正常方問,在做防殺的時候,魅族不會沒有把所有的數據全部“干死”,而是將自有數據與第三方數據進行交換,引入第三方的數據評級,對兩者數據分析結果進行對比之后再進行防御。
跨機房容災和數據同步仍待探索
何岳娟表示,跨機房容災和跨機房的數據同步問題,仍然是魅族在未來一段時間內關注的重點。魅族在這些方面一直在努力,比如在魅族有一個OKR評級功能,這個評級會根據業務故障時間來評級。這種互聯網評級模式不可能做到不產生故障,但可以盡量減少故障產品的產生。
對于技術和工具的選型,何岳娟的建議在選用新功能前,一定要對性能進行前期測試。一旦產生問題,通過測試可以及時暴露出來,引導我們尋找解決方案。對于實在解決不了的問題,魅族會選擇直接放棄這種模式,而在上線采用第三方服務。當然,還是要注意對服務進行大規模、全方位的測試,來避免之后突發情況下的措手不及。
戳下方圖片,更有料!