架構(gòu)師之路-創(chuàng)業(yè)互聯(lián)網(wǎng)公司如何搭建自己的技術(shù)架構(gòu)
適用范圍
本文主要針對中小型互聯(lián)網(wǎng)公司,特別適用于手機(jī)APP或者pc的后臺架構(gòu),基本可以支撐5萬日活。本文會對可能用到的相關(guān)技術(shù)進(jìn)行技術(shù)選型的說明,以及技術(shù)的架構(gòu)介紹。
技術(shù)指標(biāo)
說一下一些技術(shù)指標(biāo)的計(jì)算過程可以作為其他同學(xué)的參考
QPS, 如果是5萬日活,使用集中在每天的4小時,每個用戶大概產(chǎn)生100的請求,那么平均下來,我們系統(tǒng)大概應(yīng)該支撐的請求為:50000 * 100 / (4 * 60 * 60) = 350 qps/s
業(yè)務(wù)數(shù)據(jù) 業(yè)務(wù)量,我們自己是新聞業(yè)務(wù),可能會有其他的業(yè)務(wù),比如游戲,商城等等,基本每天新增的業(yè)務(wù)數(shù)據(jù)都會在同一個量級, 每日10000, 另外跟用戶相關(guān)的信息也是比較大的一塊,比如用戶的訂閱等行為,一共5萬的用戶,保存相關(guān)信息可能大概需要100條的數(shù)據(jù)。
緩存大小 主要業(yè)務(wù)數(shù)據(jù)和用戶相關(guān)的熱點(diǎn)數(shù)據(jù)限時保存在緩存中, 大概需要5個G左右。
日志大小 用戶日志和請求日志。 大概每天3個G左右
技術(shù)架構(gòu)
整體架構(gòu)因?yàn)槭切」荆覀兓诎⒗镌苼泶罱ǎ瑢D中的內(nèi)容和技術(shù)選型進(jìn)行一下說明:
負(fù)載均衡
可選方案: SLB, Nginx.
SLB要收錢,但是比較便宜,有保證,不會掛。 但是可配置的很少,不能根據(jù)域名做ip映射
Nginx, 沒啥缺點(diǎn),需要一定的知識。
建議: SLB + Nginx, SLB綁定域名作為統(tǒng)一的入口,然后每個服務(wù)器上再搭建Nginx.
CDN
用于緩存靜態(tài)文件等等。 七牛和阿里的都還可以。
七牛要做的久一點(diǎn), 各種圖片處理的接口要完善一些
阿里的CDN要稍微好一點(diǎn)點(diǎn), 但是沒有不安全的訪問方式,訪問稍微沒有那么靈活。 圖片處理功能弱一點(diǎn)。
分布式調(diào)用框架
目前可選的有ZK + dubbo. ZK + Motan, ZK + dubbox, edas。
dubbo, 阿里的服務(wù)治理框架,已經(jīng)不維護(hù)了,切換反應(yīng)有點(diǎn)慢
dubboX, 當(dāng)當(dāng)基于dubbo搞的,還在維護(hù)可以一用,推薦。
Motan, 微博的服務(wù)治理礦建, 剛開源,需要學(xué)習(xí)一下, 推薦。
Edas, 阿里云服務(wù),要收錢,侵入型很強(qiáng),不推薦
MQ
可選的有: ActiveMQ, rocketMQ, robbitMQ,Kafka
各有好處, 但是考慮到運(yùn)維的難度,推薦rocketMQ。
Redis
用來做緩存, 自建成本有點(diǎn)高,需要Codis, 分片,集群,主從等等,很麻煩。 建議直接用阿里的
數(shù)據(jù)庫
主要基于讀寫分離和主從復(fù)制考慮,目前可以自建和選用阿里的DRDS。
DRDS 要花錢,成本較高,沒有必要
自建, 不用中間件,直接1寫2只讀, 然后配置讀寫分離的數(shù)據(jù)源,內(nèi)網(wǎng)SLB進(jìn)行讀集群。解決之。
搜索
建議ELK, 可以自動同步數(shù)據(jù)庫,除了搜索引擎的功能外,還可以做日志搜索,監(jiān)控系統(tǒng)。
一些典型的業(yè)務(wù)場景說明
把業(yè)務(wù)底層做成SOA模塊,通過分布式調(diào)用框架對外提供服務(wù)。
后期進(jìn)行SOA到微服務(wù)的改造都會涉及。
單獨(dú)做一個小的系統(tǒng)來運(yùn)行定時任務(wù)
熱點(diǎn)數(shù)據(jù)放緩存,然后通過MQ來更新緩存
日志等數(shù)據(jù)有必要可以考慮上個Mongo