大數(shù)據(jù)交付的7個步驟

首先，他們需要知道什么是大數(shù)據(jù)。如下是我如何定義大數(shù)據(jù)這一概念：

“新興技術和實踐方案，使收集、處理、發(fā)現(xiàn)和儲存大量結構化和非結構化數(shù)據(jù)變得快速而富有成本效益。”

大數(shù)據(jù)涵蓋了眾多社會生活的范疇——從金融交易到人類基因組，從汽車的遙測傳感器到互聯(lián)網(wǎng)上社會媒體日志。利用傳統(tǒng)的數(shù)據(jù)庫方式來處理和存儲這些大數(shù)據(jù)是相當昂貴的。為了解決這個問題的新技術，利用開放源解決方案和商業(yè)硬件高效存儲數(shù)據(jù)，并行工作負載，提供快速處理能力。

隨著越來越多的IT部門開始研究大數(shù)據(jù)的替代品，討論中心棧，處理速度和平臺。而這些IT部門無法很好的把握其現(xiàn)有技術的局限性，許多不能闡明這些替代方案的商業(yè)價值，更遑論他們將如何進行分類和優(yōu)先級的數(shù)據(jù)排序，進入大數(shù)據(jù)治理。

事實上，我們所看到的新出現(xiàn)的大數(shù)據(jù)需求，以及關于其處理平臺和流程的討論只是大數(shù)據(jù)傳輸整體的一部分。在現(xiàn)實中，實現(xiàn)的全部潛在大數(shù)據(jù)的交付過程，需要七個步驟：

收集：從數(shù)據(jù)源和分布在多個節(jié)點處收集數(shù)據(jù)——通常是一個網(wǎng)格——每個進程的一個子集，并行數(shù)據(jù)。

流程：然后系統(tǒng)（QQ：小默862693539）使用相同的高功率并行執(zhí)行，對每個節(jié)點上的數(shù)據(jù)進行快速計算。節(jié)點“壓縮”結果數(shù)據(jù)到更多的消費數(shù)據(jù)，由此產(chǎn)生的數(shù)據(jù)集可以被人工(在分析的情況下)或機器(在解釋大型結果的情況下)使用。

管理：正在處理大數(shù)據(jù)往往是異構的，來自不同的交易系統(tǒng)（QQ：小默862693539）。這些數(shù)據(jù)通常需要理解、定義、注釋，并且以安全起見，還要進行掃描和審核。

測量：公司往往會測量數(shù)據(jù)的速率，可與其他客戶的行為或記錄進行整合，并隨時間的推移來決定是否對其進行整合或校正。業(yè)務要求應告知測量和持續(xù)跟蹤的類型。

消耗：所產(chǎn)生的使用數(shù)據(jù)應符合原要求的處理流程。例如，如果利用幾百TB的社會化媒體數(shù)據(jù)互動，有助于我們了解社會媒體數(shù)據(jù)如何驅(qū)動用戶額外購買產(chǎn)品，那么我們應該建立社會媒體的數(shù)據(jù)應當如何被訪問和更新的規(guī)則。這與機器對機器的數(shù)據(jù)訪問是同樣重要的。

存儲：由于“數(shù)據(jù)即服務”趨勢的形成，越來越多的數(shù)據(jù)開始存儲在單一位置，以便于進程的訪問。數(shù)據(jù)用于短期的存儲批處理或長期保留，應審慎處理存儲解決方案。

數(shù)據(jù)管理：數(shù)據(jù)治理是驅(qū)動業(yè)務的決策和監(jiān)督數(shù)據(jù)。根據(jù)數(shù)據(jù)治理的定義，數(shù)據(jù)治理適用于六個前階段的大數(shù)據(jù)傳輸。通過建立流程和指導原則，制裁圍繞數(shù)據(jù)的行為。大數(shù)據(jù)需要根據(jù)其預期消費進行管轄。其他的風險是對于數(shù)據(jù)分配的不滿，更不用說過度投資。

大多數(shù)工作人員負責調(diào)查和獲取大數(shù)據(jù)解決方案側重于收集和存儲步驟，而犧牲了其他的步驟。他們的問題是：“我們?nèi)绾问占�所有這些數(shù)據(jù)，我們把這些數(shù)據(jù)存儲在何處?”

但許多IT部門仍然逃避了定義離散的大數(shù)據(jù)業(yè)務需求的進程。而業(yè)務人士經(jīng)常將大數(shù)據(jù)的趨勢看成只是一個IT重新整修的借口，沒有明確的終點的游戲。這種相互嘲諷的環(huán)境就是為什么大數(shù)據(jù)沒有超越“前期調(diào)查階段”的罪魁禍首。

正如“ITBusinessEdge”一書的作者洛林勞森在其最近的博客中所說，“確保您的分享是合理性的唯一途徑是要保證你有一套有效的管理大數(shù)據(jù)的計劃。”

挖掘數(shù)據(jù)治理進程，盡最大的努力確保數(shù)據(jù)：

• 商業(yè)價值和理想的結果是明確的

• 處理關鍵數(shù)據(jù)的相關政策已經(jīng)被批準

• 專業(yè)知識應用到大數(shù)據(jù)問題

• 定義關鍵數(shù)據(jù)的規(guī)則是明確的

• 沖突和問題升級有一個過程

• 數(shù)據(jù)管理——執(zhí)行數(shù)據(jù)治理政策的戰(zhàn)術是相關的

• 在關鍵問題發(fā)展階段有決策權的

• 執(zhí)行數(shù)據(jù)隱私政策

總之，數(shù)據(jù)治理意味著大數(shù)據(jù)的應用程序是有用的和相關的。這一保險政策是一個正確的問題。確保我們不會浪費新的大數(shù)據(jù)，使得處理、存儲和交付速度更具成本效益，比以往的技術更靈活。

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]