提升服務(wù)器性能 大數(shù)據(jù)處理的坎

　　大數(shù)據(jù)引發(fā)三重挑戰(zhàn)

　　具體到企業(yè)而言，其面臨的最直接的挑戰(zhàn)就是企業(yè)的基礎(chǔ)架構(gòu)是否適應(yīng)大數(shù)據(jù)管理和分析的需要，尤其是一旦要從大數(shù)據(jù)中查找或者分析出有價值的信息，那大數(shù)據(jù)的處理效率就成為了關(guān)鍵。而即使是傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，其對處理速度的要求也越來越高。以銀行業(yè)為例，伴隨著銀行網(wǎng)點、ATM機(jī)的多點布局，再加上越來越多的新興業(yè)務(wù)轉(zhuǎn)移到互聯(lián)網(wǎng)上，使得銀行不得不面對無時無刻無處不在的數(shù)據(jù)處理響應(yīng)需求。

　　影響數(shù)據(jù)處理速度的因素很多，歸結(jié)起來主要有計算、存儲和網(wǎng)絡(luò)三大方面的因素。計算依靠服務(wù)器來實現(xiàn)，其CPU的主頻、內(nèi)存的容量和I/O帶寬，都會影響到運算速度。尤其是服務(wù)器整體表現(xiàn)出來的性能，將會是影響大數(shù)據(jù)處理的關(guān)鍵因素。此外，有些企業(yè)喜歡采用x86集群或者分布式計算來對大數(shù)據(jù)進(jìn)行處理，但是各個計算節(jié)點間的調(diào)用和處理器使用效率，亦成為影響數(shù)據(jù)處理快慢的因素。

　　存儲方面，傳統(tǒng)的存儲系統(tǒng)已經(jīng)成為數(shù)據(jù)庫處理的瓶頸，這些制約因素包括存儲系統(tǒng)到數(shù)據(jù)庫的帶寬限制、存儲陣列的內(nèi)部瓶頸等。數(shù)據(jù)帶寬已經(jīng)嚴(yán)重地限制了數(shù)據(jù)庫的性能，而隨機(jī)I/O的瓶頸限制了OLTP（聯(lián)機(jī)事務(wù)處理）應(yīng)用的性能。網(wǎng)絡(luò)帶寬涵蓋了服務(wù)器和存儲系統(tǒng)間的帶寬、終端和主機(jī)間的帶寬。假如采用集群或分布式系統(tǒng)，還需要考慮節(jié)點之間的帶寬。

　　大型數(shù)據(jù)庫開啟效率之旅

　　除了上述三個因素外，許多企業(yè)基于歷史發(fā)展的原因，還會創(chuàng)建多個數(shù)據(jù)庫。它們經(jīng)常采用不同的平臺，使用不同的軟件，造成了數(shù)據(jù)處理和管理效率的低下。

　　這些數(shù)據(jù)庫通常包含與其它數(shù)據(jù)庫相重復(fù)的數(shù)據(jù)。一個數(shù)據(jù)庫一般不會將另一個數(shù)據(jù)庫作為數(shù)據(jù)源。這樣就會消耗額外的磁盤存儲，增加重復(fù)數(shù)據(jù)遷移所需要的網(wǎng)絡(luò)帶寬，也會因從多個數(shù)據(jù)存儲獲取相同數(shù)據(jù)的需要而額外增加服務(wù)器CPU處理的負(fù)荷。

　　同時，假如企業(yè)擁有多個數(shù)據(jù)庫的話，那么他們通常會將它們部署在不同的平臺上，針對不同的硬件平臺采用不同的維護(hù)方法。這樣需要維護(hù)不同品牌和模型的服務(wù)器數(shù)量越多，成本就越高。如果是關(guān)鍵任務(wù)服務(wù)器，那么提供冗余性的硬件就會重復(fù)，這也會增加額外的成本。

　　此外，企業(yè)還不得不面對運營效率低下的問題。假如在多個服務(wù)器上運行多個數(shù)據(jù)庫系統(tǒng)，那么有一些運營成本需要考慮，包括培訓(xùn)多個系統(tǒng)的人員、監(jiān)控多個系統(tǒng)、修復(fù)多個平臺的故障、修補和更新多個系統(tǒng)。而在統(tǒng)一的操作系統(tǒng)和硬件平臺上運行一個系統(tǒng)會更簡單一些，成本也更低。另外，監(jiān)控和故障修復(fù)也更加簡單。

　　在一些情況中，數(shù)據(jù)規(guī)模直接決定了系統(tǒng)規(guī)模。大容量數(shù)據(jù)需要組織起來進(jìn)行處理才會產(chǎn)生價值。如果將整個企業(yè)的信息整合為一個統(tǒng)一且安全的整體，那么許多企業(yè)都將獲益更多。因而雖然單個大型數(shù)據(jù)庫系統(tǒng)的初始成本高于一般數(shù)據(jù)庫，但是對于長期運營而言，更加劃算。而且單個數(shù)據(jù)庫系統(tǒng)可以根據(jù)當(dāng)前需求調(diào)整規(guī)模，在有需要時增加容量，從而使整個系統(tǒng)處于高效率的運行狀態(tài)。

　　內(nèi)存計算化繁為簡

　　值得一提的是，近年來許多數(shù)據(jù)庫廠商大力發(fā)展的內(nèi)存計算技術(shù)，同樣對數(shù)據(jù)處理速度的提升起到了很大的作用。

　　內(nèi)存計算的主要用途之一是龐大的數(shù)據(jù)集的實時操作。在傳統(tǒng)的數(shù)據(jù)庫中，數(shù)據(jù)存在硬盤上。數(shù)據(jù)和服務(wù)器的CPU，通過有線連接，所以數(shù)據(jù)要到達(dá)的“桌面”是緩慢和遙遠(yuǎn)的，當(dāng)需要十億字節(jié)或者艾字節(jié)的數(shù)據(jù)時，數(shù)據(jù)庫性能緩慢的主要原因之一是數(shù)據(jù)存取的時間過長，不能以足夠快的速度到達(dá)所需要的地方。

　　在內(nèi)存計算中，數(shù)據(jù)就存儲在CPU的旁邊，可以瞬間到達(dá)。這意味著數(shù)百GB的數(shù)據(jù)分析，報告和預(yù)測需要幾秒鐘內(nèi)就可以完成，而不是幾小時。

　　行業(yè)掘金性能為王

　　大型數(shù)據(jù)庫和內(nèi)存計算分別在應(yīng)用模式和技術(shù)上為提升大數(shù)據(jù)的處理效率作好了準(zhǔn)備，但無論是大型數(shù)據(jù)庫還是內(nèi)存計算，都需要服務(wù)器主機(jī)具有強(qiáng)大的計算能力、大容量的內(nèi)存和足夠的存儲空間，并且將這三者集于一身。而歸根結(jié)底，就是服務(wù)器主機(jī)必須具備強(qiáng)大的性能，才能滿足高效處理大數(shù)據(jù)的需要。

　　結(jié)合電信、金融等行業(yè)的應(yīng)用發(fā)展，伴隨著這些行業(yè)的數(shù)據(jù)向省級集中，更大容量的數(shù)據(jù)庫和更高性能的服務(wù)器主機(jī)，成為應(yīng)對大規(guī)模用戶集中訪問數(shù)據(jù)的基礎(chǔ)。

　　以電信行業(yè)為例，電信核心業(yè)務(wù)平臺不僅包含了計費、網(wǎng)管、營業(yè)、財務(wù)以及外部CRM和其它系統(tǒng)，而且還需要在此基礎(chǔ)上完成數(shù)據(jù)的抽取、清洗和轉(zhuǎn)換，從而在數(shù)據(jù)倉庫的基礎(chǔ)上建立商業(yè)智能平臺，為客戶管理管理系統(tǒng)、決策支持系統(tǒng)等系統(tǒng)提供支撐。所有這一切要求核心業(yè)務(wù)平臺必須有一個強(qiáng)大的基礎(chǔ)設(shè)施平臺作為支撐，確保電信的所有業(yè)務(wù)系統(tǒng)都能夠在一個安全、穩(wěn)定、高效的環(huán)境下順暢運行。

　　在銀行業(yè)，數(shù)據(jù)大集中早在多年前就已經(jīng)開始實施了。然而，由于銀行業(yè)利用IT基礎(chǔ)設(shè)施服務(wù)業(yè)務(wù)發(fā)展起步較早，這也造成了部分核心業(yè)務(wù)系統(tǒng)版本多、需要不同開放和升級的弊端。中國銀行作為領(lǐng)先的大型商業(yè)銀行，早就意識到了這些問題。2011年10月，中國銀行核心業(yè)務(wù)系統(tǒng)全轄上線，為2006年正式啟動的IT藍(lán)圖實施工程畫上圓滿句號。

　　在IT藍(lán)圖項目啟動之前，中國銀行的信息科技建設(shè)已經(jīng)難以滿足業(yè)務(wù)的快速發(fā)展。一個集中的表現(xiàn)就是核心業(yè)務(wù)系統(tǒng)不統(tǒng)一，有6個不同的版本，同時數(shù)據(jù)集中度不高，舊的核心業(yè)務(wù)系統(tǒng)分布在華北、華東、華南、西北、西南五個區(qū)域信息中心。

　　IT藍(lán)圖項目實施后，中國銀行信息中心將直接為34家一級分行、1萬多家網(wǎng)點提供運維服務(wù)，實現(xiàn)了全行核心業(yè)務(wù)系統(tǒng)的統(tǒng)一，完成了數(shù)據(jù)集中，為經(jīng)營管理分析奠定了堅實的數(shù)據(jù)基礎(chǔ)，同時實現(xiàn)從柜員到客戶，從交易到賬戶等多維度、全方位的控制。而掌控這些的“大腦”則是數(shù)據(jù)中心里高性能、高效率運轉(zhuǎn)的大型服務(wù)器。

　　其實，無論是金融、電信還是其它行業(yè)，要讓數(shù)據(jù)發(fā)揮更好的作用，或者通過數(shù)據(jù)挖掘更好地為企業(yè)的經(jīng)營決策提供依據(jù)，將數(shù)據(jù)集中管理已經(jīng)是必然的趨勢。而最終能否實現(xiàn)目標(biāo)，一方面要前期進(jìn)行充分的調(diào)研和規(guī)劃，另一方面離不開大型服務(wù)器的在幕后提供更快更強(qiáng)的計算能力。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]