WOT2016大數據峰會將于2016年11月25-26日在北京粵財JW萬豪酒店召開，屆時，數十位大數據領域一線專家、數據技術先行者將齊聚現場，在圍繞機器學習、實時計算、系統架構、NoSQL技術實踐等前沿技術話題展開深度交流和溝通探討的同時，分享大數據領域***實踐和最熱門的行業應用。

記者在會前采訪了百度網頁搜索基礎架構團隊技術負責人顏世光，他是WOT2016大數據峰會上的發言嘉賓之一，與我們共同分享了關于海量計算以及搜索引擎的***技術。

[[176064]]

顏世光于2011年加入百度，早期從事Spider系統架構相關研發，期間主持了百度第三代Spider系統的設計與實現。當前主要研究方向為大規模分布式系統，是百度海量數據庫Tera、百度文件系統BFS和集群操作系統Galaxy的主要作者。他熱衷開源，先后推動了百度多個重量級系統對外開源。以下是采訪實錄。

1. 作為國內***的搜索平臺，您認為百度面臨的***挑戰是什么?目前是如何解決的?

百度面臨的挑戰有很多，我僅能談下在網頁搜索技術上面臨的， 當前比較大的挑戰是覆蓋率和時效性。覆蓋率可以認為是百度能檢索到到的網頁范圍，越大越好。

時效性通俗講是指互聯網上產生一個新網頁到百度能檢索到它這段時間的延遲，越短越好;這兩個挑戰，一個要求處理的數據盡量多，另一個要求處理得盡量快，在表面看是沖突的。我們當前解決的方式是增量流式處理，不同于普通的流式處理技術，搜索引擎處理每一篇網頁，網頁的內容正確與否，網頁權值(PageRank)大小，不只取決于它本身，而是要依賴互聯網全局信息。

所以增量處理的核心是一個能存儲互聯網上所有網頁、超鏈信息，并可以實時讀寫的數據庫。這個數據庫背后是百度文件系統、集群調度系統等一系列基礎設施。

2. 在分布式技術出現之前，百度搜索依靠什么來進行計算?

在當前這套增量處理技術出來之前，百度主要依賴MapReduce和Spark做數據處理。兩者都是批量計算的思想，所以延遲比較高。Spark能做到10分鐘級，但能處理的數據量有限。對于依賴海量全局信息的計算只能用MapReduce進行，延遲達到周級。

MapReduce的局限還體現在擴展性上，如果處理100億網頁，需要1000臺機器，那處理1萬億網頁就得10萬臺，這幾乎是不可承受的成本。

所以在此之前，無論是處理數據還是能處理的數據量，都受到了很大限制。

3.在萬億量級計算方面，百度有何經驗與大家分享?

萬億量級的計算核心挑戰在系統的擴展性和負載均衡。承載萬億量級的數據，無論是數據庫、調度系統還是底層的分布式文件系統，都需要能高效地擴展到萬臺規模的集群，這里的主要考慮是無單點設計的同時又要保證一致性，最終多數系統選擇了分布式的Master集群來管理元數據，用戶數據與計算由對等的slave節點承載的方案。

針對負載均衡問題，我們會小心的處理局部的熱點問題，因為一個區間熱點可能拖慢整個計算任務。在系統的設計中，特別是數據庫系統的設計中，做到快速的熱點拆分和跨機器遷移。

多方面的考慮和折衷，具體的內容會在這次大會的演講中和大家分享。

4.對于當前熱門的開源技術您怎么看?

顏世光表示他在百度主要做開源項目，當前工作核心是百度開源基礎架構(分布式存儲、集群管理、網絡通信框架)，這是百度自主研發的，與hadoop生態對應的一套大數據處理平臺。

百度文件系統BFS對應hadoop的HDFS，海量數據庫Tera對應hadoop的HBase，分布式協調服務Nexus對應Zookeeper，集群調度系統Galaxy對應Yarn，計算框架shuttle對應MapReduce。

【51CTO原創稿件，轉載請注明原文作者和出處為51CTO.com】