追趕Big Table!專家解讀HBase未來走向 |
發(fā)布時間: 2012/7/28 9:21:19 |
HBase是 Hadoop數(shù)據(jù)庫,它是一個分布式的、可擴展的大數(shù)據(jù)存儲,然而相對于分布式存儲的鼻祖Google的Big Table來說,HBase還是要落后了好幾年,那么,未來HBase究竟走向何方?本次大會,IT168記者采訪到了來自eBay的HBase專家,也是中國第一個HBase Committer于志宏。他在采訪中介紹了HBase在eBay的應(yīng)用,以及成為一個HBase Committer所需要具備的條件,同時他還對HBase未來的發(fā)展做出了獨特的見解。 主持人:能簡單介紹一下明天演講的主要內(nèi)容嗎? 嘉賓:明天我主要演講的主要是關(guān)于HBase,HBase作為非關(guān)系型的數(shù)據(jù)存儲的應(yīng)用還是比較廣泛的,HBase0.92剛推出,我作為HBase Committer,明天會講一些0.92里面新的功能,0.94以及未來的也會講一些。 主持人:你在Ebay從事HBase方面的開發(fā)工作,相信很多的網(wǎng)友也很關(guān)心這一塊,你現(xiàn)在的Ebay HBase的團隊做哪些方面的工作,然后就是這個工作對于未來在于對于Ebay來說有什么樣的應(yīng)用,未來發(fā)展的前景怎么樣,能簡單介紹一嗎? 嘉賓:Ebay的Search Team,Ebay運行的話,有不同的A bid,一個物品放上去之后,有很多人去競價,怎么找到別人的競價,然后找到以后你才能有下一個,所以他們Search team用HBase作為后端,所有我的同事也會講一下Search Team怎么使用HBase。我過去一年多專注于HBase方面,在HBase核心這一部分做的工作會多一些,那么HBase0.92它有一個新的功能,叫Co Processer,所以對于剛才我提到的Search team,怎么縮短查詢時間會很有幫助。 主持人:這個對于以后在Ebay里面哪些方面的應(yīng)用會有幫助? 嘉賓:講具體一點的話是這樣,現(xiàn)在他們Search team實現(xiàn)是基于HBase 0.90,沒有Co processer,所以查詢需要從Acquire到Serve需要兩趟,如果Co processer,第一趟查到一些結(jié)果以后,再用中間結(jié)果直接在服務(wù)器端再進行一次查詢,再把結(jié)果反饋到客戶端,這樣的話,就減少客戶端和服務(wù)器端的往來,減少一次。 主持人:我了解到你除了做HBase Ebay的開發(fā)方面,也是HBase社區(qū)的貢獻者,我想問一下,您在HBase社區(qū)里面,你主要貢獻哪些方面的內(nèi)容? 嘉賓:對,在明天我講的里面會涉及到一些,在成為Committer以前,我寫的代碼比較多,邵錚提到HBase優(yōu)勢的時候講到動態(tài)的對于Load,就是能夠動態(tài)的調(diào)控,這方面Load balance我會做一些,明天會講一下。成為Committer以后,中國人我是第一個,所以我有相當一部分責任就是怎么樣把中國云計算,比如說HBase這方面的Contribution越來越多,怎么把中國的Contribution,比如說關(guān)于Table,怎么把中國來的Contribution為放在Apache上面,我很多時間放在這個上面,就是怎么溝通,像Doug Cutting來的時候,他講很重要一點,他強調(diào)阿帕奇作為怎么樣建起來這個社區(qū),這個社區(qū)的話就是說不管是美國的公司也好,中國的公司也好,就是說開源式的軟件都能放進去,然后才能共享,所以我在這方面,就是我覺得會起到一些比較,當然我希望下一步明年中國大陸出一個HBase Committer,這樣的話就是說如何加快中國云計算對于阿帕奇社區(qū)的貢獻。 主持人:剛才您講,您特別希望中國大陸能夠出現(xiàn)更多HBase的Committer,對于這些想成為Committer開發(fā)人員來說,你有沒有一些好的建議或者想說的? 嘉賓:明天開會的時候我還會講一下,我注意到剛才上午開會的時候,有一位先生他問用英文怎么表述自己,因為我最早出國的時候,我上過新東方的課,培訓一下。HBase也好,Hadoop也好,中國的這些Contribution放在Apache的話,有很多因素,首先是編程質(zhì)量,編程程序中有很多注釋,注釋一般用很多英語的,怎么樣用英語很清晰的表示一個概念,那么Contribution,Table比較大一些,也有比較小的,小的也有很好的注釋,我個人花一些時間,除了看程序以外,還要把注釋英文譯法給改的好一點。 那么就是說從這一點上來講,溝通,除了程序,程序什么人都可以看,但是如果你要讓別人看得更明白的話,就是說這些注釋什么的,還是要下一些工夫。 主持人:就是說英語水平很重要。 嘉賓:英語水平,對,因為一般來講,從中國這邊和美國這邊,異地異步的,不是同時,比如中國白天寫的,可能到那邊要過比如說幾個小時,那邊才有反應(yīng),所以你用英語寫下來的話,這些交流就是怎么解釋,這個代碼怎么運行的,關(guān)鍵問題在什么地方,等等,這都是需要通過英語來進行交流的。那么我是在這方面的話,因為我對中國出來的這些帖子或者發(fā)言反應(yīng)會比較快一點,因為我早上很早都會檢查Email,但是就是說別的人,就是讓別的那個Hadoop Committer也看懂的話,希望這方面能夠有所改進。 主持人:那么這個就是說對于國外的開發(fā)者來說,是不是算是一個優(yōu)勢呢? 嘉賓:對,所以我剛才跟劉佳講,我在美國,因為我近期內(nèi)還沒有回國的打算,所以我在美國的話,能和別的這些,當然大多數(shù)白人了,因為我是第一個非白人的Committer,現(xiàn)在有一個中國人,三個印度人,其中一個印度人在華為印度,我覺得就是說交流這一點,因為我能夠和他們面對面交流,比如說我回來前一天,還在和他們面對面談,所以我成為Committer以后,我做的事情多一點的話,我也會把我的想法告訴他們。 主持人:行,那最后還有一個問題,就是說你能不能談一談HBase這個前景,讓大家都來看一看,讓更多人都來關(guān)注這一塊? 嘉賓:因為上午Google有一個人他講,我覺得Google還是領(lǐng)先于開源的有幾年的,比如像HBase,因為0.92沒有Co processer,0.92也是兩天前才有第一個版本出來,HBase和Big Table還是有很大差距,當然,HBase加上Hive相當程度上也是達到Google正在做的這些。HBase再往下,我覺得還是有很多可以做的,比如說像這個Google工程師提到多行的Transaction,Transaction用HBase的程序員才會比較好的,程序才會表述的比較清楚,但是現(xiàn)在HBase只是在一行,一行上,實際上一行還有文章,因為有Modicle,也是最近才解決的。所以,因為Big table在那里,所以領(lǐng)先很多,HBase還有相當?shù)陌l(fā)展。 本文出自:億恩科技【www.riomediacenter.com】 服務(wù)器租用/服務(wù)器托管中國五強!虛擬主機域名注冊頂級提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |