專訪天涯首席工程師王建科：技術(shù)人要有產(chǎn)品觀
原創(chuàng)【51CTO獨(dú)家專訪】“產(chǎn)品經(jīng)理”這個(gè)詞在近兩年很火爆，其火爆程度更甚于中國(guó)互聯(lián)網(wǎng)飛速發(fā)展之前的“站長(zhǎng)”一詞。然而在IT技術(shù)界，對(duì)產(chǎn)品經(jīng)理有著廣泛的怨言，因?yàn)閲?guó)內(nèi)的大部分產(chǎn)品經(jīng)理都并非技術(shù)出身，所以常在產(chǎn)品設(shè)計(jì)階段天馬行空，最后在產(chǎn)品失敗的時(shí)候埋怨技術(shù)不給力。每個(gè)產(chǎn)品的策劃者都希望有一些像Google工程師那樣，產(chǎn)品、技術(shù)雙修的高手來(lái)把控，但卻在人才市場(chǎng)苦尋不得，于是感嘆國(guó)內(nèi)這方面的雙修人才為什么如此之少。不過(guò)，在中國(guó)互聯(lián)網(wǎng)發(fā)展早期，多面手才是常態(tài)。國(guó)內(nèi)的網(wǎng)民們大多聽(tīng)說(shuō)過(guò)天涯社區(qū)，只是也許很多人并不知道，這個(gè)有12年歷史的、現(xiàn)在同時(shí)在線已經(jīng)超過(guò)50萬(wàn)人的巨大社區(qū)，在最開(kāi)始幾年的產(chǎn)品設(shè)計(jì)、開(kāi)發(fā)和運(yùn)維，都是由一個(gè)人來(lái)完成的。他就是現(xiàn)在天涯的首席工程師、天涯論壇產(chǎn)品總監(jiān)王建科。
右為天涯首席工程師王建科（天涯ID：卓銳），左為51CTO編輯楊賽
51CTO編輯在2011年的QCon北京會(huì)場(chǎng)上對(duì)王建科進(jìn)行了一次專訪。雖然說(shuō)是專訪，但實(shí)際上并非以問(wèn)答形式進(jìn)行，因?yàn)榻瓶戳艘幌麓蛴〕鰜?lái)的采訪提綱，便很投入的開(kāi)始了。為了方便大家閱讀，下面將整個(gè)訪談過(guò)程按話題整理成文本記錄，大致分為天涯的技術(shù)發(fā)展歷程、天涯界面的設(shè)計(jì)、對(duì)技術(shù)債務(wù)的觀點(diǎn)、對(duì)技術(shù)選型的觀點(diǎn)、對(duì)技術(shù)人員成長(zhǎng)的建議、以及開(kāi)源相關(guān)的一些話題。對(duì)于互聯(lián)網(wǎng)行業(yè)的開(kāi)發(fā)、運(yùn)維和產(chǎn)品運(yùn)營(yíng)人員而言，相信王建科的分享會(huì)給你帶來(lái)一些啟發(fā)。
天涯的技術(shù)發(fā)展歷程
王建科：天涯最初只有一個(gè)開(kāi)發(fā)者，就是我。產(chǎn)品的設(shè)計(jì)和技術(shù)實(shí)現(xiàn)都是我。當(dāng)時(shí)是用ASP來(lái)做，有很多困難，因?yàn)槟菚r(shí)ASP這個(gè)技術(shù)沒(méi)有文檔，全靠摸索，不像現(xiàn)在，網(wǎng)上資料非常多。那是在98年底的時(shí)候。
天涯最開(kāi)始上線運(yùn)營(yíng)的話是99年3月1號(hào)。我的ID是2月28號(hào)注冊(cè)的，是天涯第一個(gè)ID。回想當(dāng)時(shí)，其實(shí)對(duì)技術(shù)的要求并不很高，只要把這個(gè)東西實(shí)現(xiàn)出來(lái)，快速的實(shí)現(xiàn)出來(lái)。當(dāng)時(shí)整個(gè)互聯(lián)網(wǎng)的網(wǎng)民也比較少，所以用戶比較少，所以對(duì)整個(gè)性能的壓力也比較小。當(dāng)然服務(wù)器硬件也比較差，大概是386這樣的吧（更正：此處內(nèi)容有誤，應(yīng)為586的處理器，運(yùn)行系統(tǒng)為Windows NT 4.0，特此勘誤）。
51CTO：當(dāng)時(shí)服務(wù)器是托管在機(jī)房？
王建科：當(dāng)時(shí)我們還沒(méi)在機(jī)房，只有一條鏈路，好像也就是幾十K吧，馬上感覺(jué)不夠，就搬到電信的機(jī)房去了。當(dāng)時(shí)電信還沒(méi)有IDC這個(gè)概念，也就是一張桌子，有個(gè)網(wǎng)線，連上去就行了（笑）。當(dāng)時(shí)門(mén)檻是比較低的。
我們把天涯分為幾個(gè)階段，第一個(gè)就是2003年之前，剛起步的一個(gè)階段。網(wǎng)民比較少，當(dāng)時(shí)網(wǎng)友還是一個(gè)比較異類的人群，ID千奇百怪的，談的話題別人都聽(tīng)不懂。所以那個(gè)時(shí)候，同時(shí)在線也就是90人左右。2002年同時(shí)在線是1000人，到2003年的時(shí)候，同時(shí)在線就差不多快要10000人了。不過(guò)2003年那時(shí)候還是只有一臺(tái)服務(wù)器，又當(dāng)web又當(dāng)db，內(nèi)存只有512MB，這個(gè)壓力可想而知。
當(dāng)時(shí)天涯還有一個(gè)特點(diǎn)，就是帖子是不分頁(yè)的。一千回復(fù)也好，一萬(wàn)回復(fù)也好，一個(gè)頁(yè)面都要全部加載進(jìn)來(lái)。長(zhǎng)帖對(duì)天涯的系統(tǒng)壓力非常大。
51CTO：長(zhǎng)帖對(duì)系統(tǒng)的壓力反而比較大？
王建科：那當(dāng)然，因?yàn)槟隳敲炊嘤涗浂家瑫r(shí)讀出來(lái)。很多網(wǎng)站為了避免這個(gè)壓力，所以就把10個(gè)回復(fù)分一頁(yè)，這樣每次刷頁(yè)面只讀10條記錄。而天涯是一帖到底，這是很多網(wǎng)友喜歡天涯的一個(gè)地方。尤其當(dāng)時(shí)都是撥號(hào)上網(wǎng)嘛，網(wǎng)速非常非常慢，所以這樣一帖到底也是比較方便閱讀。當(dāng)時(shí)天涯聚集了很多網(wǎng)絡(luò)寫(xiě)手，好比武林外傳的編劇，還有那個(gè)《成都，今夜請(qǐng)將我遺忘》的作者，等等，在天涯連載小說(shuō)，還有很多網(wǎng)絡(luò)事件也在天涯出來(lái)。當(dāng)時(shí)就是經(jīng)常網(wǎng)聚啊，交流啊這些。
51CTO：所以你自己也是天涯的活躍用戶嘍。當(dāng)時(shí)還是只有你一位技術(shù)人員么？
王建科：對(duì)，那時(shí)候還是只有我一個(gè)。這是2003年以前的情況。
2003年之后到2006年之間，是天涯發(fā)展的一個(gè)中期階段。這個(gè)階段天涯快速發(fā)展，從2003年的同時(shí)在線8000人，到2006年達(dá)到20萬(wàn)。快速發(fā)展我覺(jué)得有幾個(gè)原因吧，第一個(gè)是大概在2005年左右，中國(guó)互聯(lián)網(wǎng)快速增長(zhǎng)，網(wǎng)民大爆發(fā)，天涯用戶也跟著往上增長(zhǎng)。還有一個(gè)就是當(dāng)時(shí)天涯的媒體性凸顯出來(lái)，因?yàn)樘煅漠?dāng)時(shí)很多網(wǎng)絡(luò)事件和話題，很多媒體就把天涯作為一個(gè)新聞源去報(bào)導(dǎo)，這樣相當(dāng)于傳播天涯的品牌。
這樣就導(dǎo)致了天涯的快速增長(zhǎng)，而天涯的服務(wù)器這時(shí)候增長(zhǎng)的也比較快……
51CTO：不再是一臺(tái)服務(wù)器了。
王建科：嗯，不再是一臺(tái)了。2004年的時(shí)候，已經(jīng)是4臺(tái)web，2臺(tái)db了。之前已經(jīng)是扛不住了，負(fù)載全都滿了這么一個(gè)狀況。后來(lái)我們就拆分嘛，把db拆分。天涯不是論壇分很多版塊嗎，所以就是把不同版塊拆分到不同的服務(wù)器上。如果是所有版塊在一個(gè)表里的話就很難拆分，所以我們就是一個(gè)版塊對(duì)應(yīng)一套表。所以如果這個(gè)服務(wù)器壓力比較大的話，我們就可以把一整個(gè)版塊，就是一個(gè)表，遷移到別的服務(wù)器上去。
所以db方面就是按版塊拆分表這個(gè)模式。web方面就是增加。現(xiàn)在web方面擴(kuò)展比較容易點(diǎn)，最早做的時(shí)候就是通過(guò)session會(huì)話把web進(jìn)行拆分。
db另一個(gè)方面就是不使用連合查詢。天涯最早為了優(yōu)化性能有幾個(gè)特點(diǎn)，一個(gè)就是不使用連合查詢。比如有的時(shí)候你要呈現(xiàn)用戶的名字啊，標(biāo)題等信息的時(shí)候，就要去讀，那么我們的做法是在產(chǎn)生的時(shí)候就把信息寫(xiě)到同一個(gè)地方去了，讀的時(shí)候就只要把它一起呈現(xiàn)出來(lái)。這樣表之間就沒(méi)有太多關(guān)聯(lián)，因?yàn)楸黻P(guān)聯(lián)也是十分影響性能的。而且表關(guān)聯(lián)還會(huì)造成難以拆分的問(wèn)題。
還有就是一帖到底這個(gè)，我們的做法就是把所有回復(fù)寫(xiě)到一個(gè)字段里面去。有新的回復(fù)時(shí)，就把這個(gè)內(nèi)容插到字段最下面，這樣呈現(xiàn)的時(shí)候，只要讀一個(gè)字段就全出去了。這樣就極大的降低了db的I/O，因?yàn)槎嘁淮巫x寫(xiě)就多一次I/O嘛，你只有一個(gè)字段，就只有一個(gè)I/O；如果100個(gè)回復(fù)分為100個(gè)字段，那就是100倍的I/O，1000個(gè)就是1000個(gè)I/O。所以天涯把所有回復(fù)合并，就極大的減少了I/O。所以天涯才能大體做到“一帖到底”，不分頁(yè)。
另一個(gè)有關(guān)這個(gè)分頁(yè)。很多論壇數(shù)據(jù)量很大的時(shí)候，你越往后翻頁(yè)，處理的速度就越慢，效果很差了。所以天涯這邊我們用where子句來(lái)分頁(yè)。Where子句就是判斷，你點(diǎn)下一頁(yè)的時(shí)候，用where子句定位到這個(gè)下一頁(yè)的數(shù)據(jù)。所以這樣的話，你每次點(diǎn)下一頁(yè)，每次請(qǐng)求在性能上的消耗都是一樣的，一致的。
51CTO：就不用做n次計(jì)算了。
王建科：對(duì)，就不用再去計(jì)算我下一頁(yè)這個(gè)數(shù)據(jù)到底在什么位置，尤其數(shù)據(jù)量大的時(shí)候，這就很快。當(dāng)然天涯只提供了下一頁(yè)的功能，而沒(méi)有提供直接到某一頁(yè)的功能，就只能一頁(yè)一頁(yè)翻這樣。
另一個(gè)就是鎖。很多網(wǎng)站采用了死鎖這種機(jī)制，但是天涯呢，因?yàn)榫W(wǎng)友看內(nèi)容對(duì)一致性的要求并不高，我們就都全部允許臟讀。就是說(shuō)你不用忽略這個(gè)更新，不用在讀的時(shí)候把它鎖上這樣。
51CTO：因?yàn)闆](méi)這個(gè)需要。
王建科：對(duì)，沒(méi)必要。因?yàn)槲覀兊臄?shù)據(jù)不像銀行數(shù)據(jù)，對(duì)一致性要求并不特別高，就避免了死鎖這樣的方式。
另外一方面就是我們也用了DNS輪詢，但是DNS輪詢這個(gè)效果并不是特別好，沒(méi)有我們想象的那么均勻，所以后來(lái)我們就自己寫(xiě)了應(yīng)用來(lái)控制負(fù)載均衡。
另一個(gè)就是在2003年后來(lái)壓力大的時(shí)候，我們開(kāi)始用Squid做頁(yè)面緩存。當(dāng)時(shí)因?yàn)樘煅暮芏鄤?dòng)態(tài)的內(nèi)容，變化比較大，而用了頁(yè)面緩存之后，命中率在70左右吧，還不錯(cuò)，減少了后端的很多壓力。
這樣就是2003年到06年這個(gè)階段。
那么07年到現(xiàn)在呢，就是比較強(qiáng)調(diào)架構(gòu)化這個(gè)方面。07年之前我們不是只有電信這么一個(gè)鏈路嗎，網(wǎng)通用戶就抱怨很多，所以就購(gòu)買(mǎi)了網(wǎng)通鏈路，然后用F5做鏈路負(fù)載均衡。
然后就是做更多的頁(yè)面緩存。Squid之后我們開(kāi)始用Varnish，這個(gè)感覺(jué)效果更好一些。然后就是對(duì)頁(yè)面進(jìn)行壓縮。因?yàn)樘煅亩际俏谋緝?nèi)容嘛，所以壓縮率能達(dá)到70%，效果挺好。然后就是memcached內(nèi)存緩存，就是你要往db讀寫(xiě)的內(nèi)容都先放在memcached里面，這個(gè)命中率比較高，有90%。
所以就是一步一步做過(guò)來(lái)，先解決網(wǎng)通用戶的抱怨，再整個(gè)做優(yōu)化。我們最近有個(gè)問(wèn)題，就是電信的鏈路不太穩(wěn)定，經(jīng)常出現(xiàn)一些問(wèn)題。因?yàn)楹Ｄ线@個(gè)位置就不在中國(guó)的骨干網(wǎng)上……
51CTO：邊遠(yuǎn)了一點(diǎn)。
王建科：對(duì)，是比較邊遠(yuǎn)的網(wǎng)絡(luò)節(jié)點(diǎn)，中間環(huán)節(jié)過(guò)多，有很多不穩(wěn)定。去年就有幾次這個(gè)問(wèn)題導(dǎo)致天涯訪問(wèn)慢或者是訪問(wèn)不了。
我們這兩年也是在做一些優(yōu)化，采用一些開(kāi)源的東西，比如Redis，我們一直在用，這個(gè)新浪微博也是在用。Redis用處之一就是統(tǒng)計(jì)點(diǎn)擊，因?yàn)橛脩酎c(diǎn)一次我們就要統(tǒng)計(jì)一次點(diǎn)擊數(shù)，像天涯這樣訪問(wèn)量上億的，對(duì)db的壓力就非常大，所以我們用Redis來(lái)做緩沖。原來(lái)我們要用20臺(tái)來(lái)做點(diǎn)擊的統(tǒng)計(jì)，那么現(xiàn)在只需要4臺(tái)web加1臺(tái)Redis就夠了。
有一個(gè)案例就是去年玉樹(shù)地震的時(shí)候，我們跟浙江衛(wèi)視合作一個(gè)活動(dòng)，就是網(wǎng)友回一個(gè)帖子，浙江衛(wèi)視給災(zāi)區(qū)捐一塊錢(qián)。然后就有很多網(wǎng)友刷帖啊，各種方式刷，還有那種編程序用機(jī)器刷的，最后就是大概24小時(shí)刷了一百萬(wàn)回復(fù)出來(lái)。像這種熱點(diǎn)，技術(shù)上都是要做好應(yīng)對(duì)的。所以去年的時(shí)候我們就開(kāi)源了一個(gè)模塊叫做memlink，也是一個(gè)鏈表，當(dāng)然我們叫它輕量級(jí)的鏈表，比Redis更加輕量級(jí)。因?yàn)镽edis是一個(gè)通用的鏈表，所以內(nèi)存占用多些，效率方面也慢點(diǎn)。而Memlink的話是我們專門(mén)為列表處理開(kāi)發(fā)的，很多節(jié)點(diǎn)進(jìn)行了合并。Memlink目前我們還是在內(nèi)部試用，資料我們都公布出來(lái)了，在網(wǎng)上可以查到。
天涯界面為什么這么簡(jiǎn)約
王建科：天涯界面為什么這么簡(jiǎn)約，因?yàn)槲也欢鲌D嘛（笑）。我只懂顏色，色塊怎么調(diào)比較柔和，所以就做了這么一個(gè)非常簡(jiǎn)約的東西出來(lái)。它簡(jiǎn)約的原因可能在于它是技術(shù)人員做的吧，美工做的話，一般比較復(fù)雜。而且，天涯這十二年，其實(shí)用戶習(xí)慣也沒(méi)多大變化，有時(shí)候有人說(shuō)要加一些內(nèi)容，有很多網(wǎng)友反對(duì)的，我們也覺(jué)得可能會(huì)破壞現(xiàn)在這樣的閱讀體驗(yàn)，因?yàn)殚喿x還是需要一種簡(jiǎn)練、高效的方式。所以天涯一直沒(méi)有那些花花綠綠的東西，只是現(xiàn)在廣告比較多了（笑）。
對(duì)技術(shù)債務(wù)的觀點(diǎn)
王建科：天涯本身不是技術(shù)驅(qū)動(dòng)的公司。在中國(guó)互聯(lián)網(wǎng)做，第一位應(yīng)該是運(yùn)營(yíng)能力，第二是產(chǎn)品，第三才是技術(shù)能力。用戶是三者的核心，技術(shù)嘛只要?jiǎng)e拖后腿就行（笑）。運(yùn)營(yíng)我覺(jué)得對(duì)一個(gè)網(wǎng)站/產(chǎn)品的競(jìng)爭(zhēng)力是非常關(guān)鍵的。天涯的技術(shù)我覺(jué)得在中國(guó)互聯(lián)網(wǎng)格局算是中等吧，比新浪啊，騰訊啊這些，還是要差不少距離。
對(duì)技術(shù)選擇的觀點(diǎn)
王建科：天涯其實(shí)很早都是低成本運(yùn)營(yíng)，服務(wù)器添加都非常的慎重，也都買(mǎi)很便宜的服務(wù)器，因?yàn)樵缙诙紱](méi)有廣告收入。現(xiàn)在服務(wù)器就比較多了，論壇大概有130臺(tái)web，三、四十臺(tái)db這樣。其實(shí)天涯對(duì)技術(shù)選擇就是實(shí)用的就可以，按需求選擇，不一定要很新的技術(shù)或超前的架構(gòu)這些。都選擇一些成熟的、穩(wěn)定的技術(shù)，在國(guó)內(nèi)外都有使用者的。我們的觀點(diǎn)就是讓技術(shù)保持樸素、簡(jiǎn)單，讓運(yùn)維團(tuán)隊(duì)的效率更高一點(diǎn)。
技術(shù)人員如何進(jìn)步？
王建科：在中國(guó)的話，技術(shù)人員在大企業(yè)成長(zhǎng)的空間會(huì)更大一點(diǎn)，在中小企業(yè)的成長(zhǎng)空間就會(huì)小一點(diǎn)，這是中國(guó)技術(shù)人員面臨的一個(gè)問(wèn)題。
51CTO：意思是中國(guó)的技術(shù)人員還是盡量在大企業(yè)尋求發(fā)展是嗎（笑）？
王建科：這個(gè)嘛（笑），比如像我的話，其實(shí)從一開(kāi)始就是同時(shí)做技術(shù)和產(chǎn)品兩條線。很多技術(shù)人員要往產(chǎn)品的方向轉(zhuǎn)，覺(jué)得有很大困難，但是我這邊就要求，技術(shù)人員也必須關(guān)注一些產(chǎn)品，因?yàn)榻佑|過(guò)產(chǎn)品的技術(shù)人員思考交流的方式跟沒(méi)接觸過(guò)產(chǎn)品的技術(shù)人員是不一樣的。
51CTO：意思是上升到需求的高度？
王建科：也不是吧，只是說(shuō)他會(huì)比較貫通，他能夠考慮到一個(gè)產(chǎn)品使用會(huì)不會(huì)有問(wèn)題，技術(shù)特點(diǎn)方面能不能作出更漂亮的功能。像是國(guó)外很多互聯(lián)網(wǎng)產(chǎn)品都是技術(shù)人員驅(qū)動(dòng)的，好比Google這樣的。那么我也會(huì)鼓勵(lì)我們的技術(shù)人員，多關(guān)注產(chǎn)品，參與一些決策。否則的話，現(xiàn)在很多公司一個(gè)常態(tài)就是，運(yùn)營(yíng)人員埋怨產(chǎn)品，然后技術(shù)就成了推脫責(zé)任的借口，我們叫做“炮灰”（笑），很辛苦，又沒(méi)有成就感。這是不利的，所以就想怎么把這部分和運(yùn)營(yíng)團(tuán)隊(duì)糅合在一起，共同做一件事情，共同關(guān)注用戶。
這是知識(shí)面方面。另一方面技術(shù)人員也要擴(kuò)展一下深度，還是要走專業(yè)化的路線。所以我們也鼓勵(lì)技術(shù)人員進(jìn)行交流，好比劉天斯，就很喜歡寫(xiě)博客分享一些東西，這個(gè)過(guò)程也學(xué)到很多東西。他本身在這方面鉆研也比較深，在專業(yè)化方面是做的很不錯(cuò)的。（注：劉天斯是天涯的系統(tǒng)管理員，51CTO 2011年博客大賽的十強(qiáng)之一，前一陣子51CTO系統(tǒng)頻道剛剛對(duì)他做過(guò)專訪。）
有關(guān)開(kāi)源的看法
王建科：關(guān)于開(kāi)源，現(xiàn)在有一個(gè)很好的趨勢(shì)。幾年前我們都說(shuō)，外國(guó)人做開(kāi)源是外國(guó)人吃飽了撐著在做，中國(guó)人做開(kāi)源是中國(guó)人在餓著肚子做（笑）。當(dāng)然就是人們看不出開(kāi)源這個(gè)東西怎么賺錢(qián)，所以就沒(méi)有支撐了，沒(méi)有后繼的一個(gè)東西。所以那時(shí)候中國(guó)做開(kāi)源沒(méi)什么成功的東西，只是用。
現(xiàn)在看來(lái)我覺(jué)得有一些改觀了，這個(gè)改觀有幾個(gè)方面的原因。一個(gè)就是中國(guó)互聯(lián)網(wǎng)格局不再局限于技術(shù)了，而是有更多運(yùn)營(yíng)和產(chǎn)品。所以你可以把自己的技術(shù)公布出去，而不用擔(dān)心對(duì)你的競(jìng)爭(zhēng)造成很大壓力。這樣就鼓勵(lì)了大家以更開(kāi)放的心態(tài)來(lái)做技術(shù)。另一方面也是很明顯的，就是中國(guó)的技術(shù)人員也在積累，就有了這個(gè)實(shí)力去做一些開(kāi)源。再就是經(jīng)驗(yàn)。我們經(jīng)驗(yàn)成熟了之后，跟國(guó)外技術(shù)的對(duì)接就更加容易了。以前我們覺(jué)得國(guó)外技術(shù)好像很超前，我們這邊還好像小學(xué)生一樣；而現(xiàn)在已經(jīng)改變了，中國(guó)已經(jīng)是最大的互聯(lián)網(wǎng)市場(chǎng)，所以差距會(huì)越來(lái)越小。運(yùn)營(yíng)的因素，用戶量的因素，導(dǎo)致技術(shù)的差距越來(lái)越小，所以慢慢的中國(guó)也會(huì)有一些很好的開(kāi)源項(xiàng)目出來(lái)。
【編輯推薦】
