Hortonworks技術(shù)骨干TedYu:我對中國大數(shù)據(jù)前景非常看好
原創(chuàng)【51CTO.com原創(chuàng)稿件】2017年12月01日-02日,由51CTO主辦的WOTD全球軟件開發(fā)技術(shù)峰會在深圳中州萬豪酒店隆重舉行。本次峰會以軟件開發(fā)為主題,數(shù)十位專家級嘉賓將帶來多場精彩的技術(shù)內(nèi)容分享。
12月1日下午, Hortonworks高級技術(shù)成員HBase核心貢獻(xiàn)者Ted Yu發(fā)表了題為《The New Hbase brings new era》(創(chuàng)新的Hbase***新紀(jì)元)的精彩演講,會后51CTO記者采訪了他,請他為大家分享了他的技術(shù)經(jīng)驗(yàn)談。
Hortonworks的核心成員TedYu接受采訪
2011年,雅虎剝離Hadoop業(yè)務(wù),由雅虎主導(dǎo)Hadoop開發(fā)的副總裁,帶領(lǐng)二十幾個核心成員成立Hortonworks。作為Hortonworks的核心成員之一,TedYu參加WOT技術(shù)峰會已經(jīng)有七年的時間,一直在美國工作的他,始終堅持用英文準(zhǔn)備演講PPT,用他的話說,他始終相信中國技術(shù)人員的能力,他所講的內(nèi)容技術(shù)性強(qiáng),涉及到很多技術(shù)詞匯,輸入中文擔(dān)心翻譯不準(zhǔn)確產(chǎn)生歧義。所以他寫英文再讓大家去查它是什么意思,像是技術(shù)詞匯,用在HBase或者其它別的地方一般不會有歧義。
談到Hbase的核心,TedYu表示,HBase是基于谷歌的Hadoop,Hadoop的DataNode公布以后,在谷歌上有很多Bigtable的產(chǎn)品,HBase的核心它原來只是NameNode,在這個核心以上,又有不同的開發(fā)人員,搭建了Apache,或者是這些相關(guān)的項(xiàng)目。因?yàn)檫@個核心原來是不支持SQL查詢的,有了這些別的項(xiàng)目以后,用戶還可以用SQL進(jìn)行查詢,方便了很多。
談及HBase的長處和短處的話,我們知道,HBase最早是Hadoop的一個子項(xiàng)目,后來才成為鼎力項(xiàng)目。也就是說如果在客戶的集成里面已經(jīng)有HBase的話,那么選擇用HBase作為NoSQL的存儲就是非常自然的選擇。 反過來講,比如一個用戶用卡夫卡,卡夫卡根本就不用HBase,所以屬于要用別的存儲系統(tǒng)的話,HBase就可能稍微有點(diǎn)牽強(qiáng)。
TedYu還著重分析了Hbase的劣勢以及解決辦法,他說,如果HBase本身來講,它不支持SQL,但是這樣的話,對于大部分的應(yīng)用來講就非常不方便,因?yàn)楸热鏢QR有很多復(fù)雜的查詢,如果要靠用戶用HBase底層的API去完成這些復(fù)雜操作的話,是非常耗時間的,而且首先是不易攜帶,因?yàn)镾QL可以很方便就改了,一下就改掉了。如果用API的話就會影響開發(fā)進(jìn)度。但是好處就是別的項(xiàng)目就彌補(bǔ)了HBase這方面的不足。
隨著國內(nèi)對Hbase的接受程度越來越高,TedYu感慨良多,他非常看好國內(nèi)的大數(shù)據(jù)和人工智能技術(shù)發(fā)展前景。中國有廣大的人口,有非常多樣化的應(yīng)用場景,它會產(chǎn)生大量的數(shù)據(jù)。在這方面我想產(chǎn)生數(shù)據(jù)的規(guī)模已經(jīng)超出了美國,像雅虎這樣的公司所處理的數(shù)據(jù)。他認(rèn)為中國大數(shù)據(jù)應(yīng)用有其獨(dú)特性,會導(dǎo)致它在相關(guān)的方面有相當(dāng)大的進(jìn)展。
接下來談及Hortonworks旗下重要產(chǎn)品HDP和HDF免費(fèi)和開源的話題,TedYu解釋說:“全開源符合中國的國情,大家知道,去IOE化已經(jīng)提了很多年,我想IOE這三家的話,我沒有詳細(xì)關(guān)注,但我至少知道IBM的情況是不太好的,因?yàn)樗松弦粋€季度以外,好像很多個季度它的營業(yè)額都是下降的,這在大公司里是非常罕見的。這也是說明對于中國這么大的國家,有這么多大數(shù)據(jù),而且有的是敏感數(shù)據(jù),要自己存儲自己管理,這樣的話需要相當(dāng)強(qiáng)的透明性,所以我覺得,這兩個是完全開源的,從理念上來講,符合中國政府要求的開放性和透明性。”
采訪***,TedYu告訴我們,開源了以后,國內(nèi)的開發(fā)者和用戶可以對Hortonworks產(chǎn)品有更加深入的了解,這樣一來,在這些項(xiàng)目里面,也會有所回饋,所以這應(yīng)該是一個雙贏的選擇。
【51CTO原創(chuàng)稿件,合作站點(diǎn)轉(zhuǎn)載請注明原文作者和出處為51CTO.com】