打造數(shù)據(jù)中心信息化布線的高可靠性

數(shù)據(jù)集中、SAN、云計算、10/40/100G運用正引領(lǐng)我們整整的高帶寬時代，數(shù)據(jù)中心的高速物理鏈路也遭遇自綜合布線系統(tǒng)誕生以來空前的質(zhì)量要求。即便是有著豐富經(jīng)驗的大型集成商、安裝商和供應(yīng)商，習(xí)慣了以往布線方式和檢測方式的他們也正開始經(jīng)歷一番“磨難”。特別是高速、高密度光纖鏈路的使用帶來了一些設(shè)計、安裝、驗收、維護等方面的深刻變化。本文探討如何打造高可靠性的數(shù)據(jù)中心，并著重從測試的角度提供實現(xiàn)靠可靠性的保障方法，使得因布線問題造成的系統(tǒng)資源浪費、低效運行、停運等造成的損失減到最小。

高可靠性的數(shù)據(jù)中心布線系統(tǒng)一方面意味著基本上不會出問題，即便出了問題也一定是應(yīng)用系統(tǒng)軟硬件的問題，但實際情形卻并不樂觀。CTEAM 2010年提供的數(shù)據(jù)表明，我國1000點以上的工程檢測報告的可信度在84%左右，不包括未進行光纖二級測試(后述)的比例。加上此因素后則可信度在20%以下。另一方面，如果布線系統(tǒng)出現(xiàn)問題則需要盡快發(fā)現(xiàn)、定位并盡快解決。但在云計算系統(tǒng)中，低效的布線鏈路很難被即時發(fā)現(xiàn)，因為它會被系統(tǒng)誤認(rèn)為是服務(wù)器資源的退化，進而分配資源給其它服務(wù)器承擔(dān)計算工作，結(jié)果造成云系統(tǒng)中可能積累大量被錯判的低效服務(wù)器，且這種誤判會持續(xù)相當(dāng)長的時間，浪費大量計算資源。

那么，如何才能打造一個高可靠性的數(shù)據(jù)中心信息布線系統(tǒng)呢？

打造高可靠的數(shù)據(jù)中心信息化布線系統(tǒng)始于規(guī)劃設(shè)計階段。除了選擇品質(zhì)過硬的產(chǎn)品和能支持靈活擴容的方案，設(shè)計時預(yù)留適度備份(TIA942A要求4級的物理鏈路達(dá)到1:1備份)、采用電子(追蹤)標(biāo)簽、采用“結(jié)構(gòu)化可重敷管線槽系統(tǒng)”、注意電纜系統(tǒng)散熱處理、接地處理等措施可以大大減少系統(tǒng)可靠性降低的風(fēng)險。設(shè)計任務(wù)書中應(yīng)標(biāo)明擬采用何種方式、標(biāo)準(zhǔn)等進行驗收檢測、選型測試、進貨測試，在運行維護階段如何采取措施保證標(biāo)簽準(zhǔn)確即時更新、保證定期檢測維護的周期和內(nèi)容得以具體落實，也是提高可靠性的有效手段。具體時間中，任務(wù)書的效力在逐漸遞減，這是需要解決的一個問題。

如果在施工管理階段實施進場測試、入庫測試、隨工測試、監(jiān)理測試等流程控制，驗收階段保證普遍實施光纖二級測試、銅纜外部串?dāng)_測試，使用維護階段保證實施開通測試、維護后恢復(fù)再認(rèn)證測試、擴容升級拓?fù)鋬?yōu)化調(diào)整后再認(rèn)證測試，則系統(tǒng)可靠性可達(dá)高指標(biāo)。

甲方如何選擇并委托有資質(zhì)和經(jīng)驗的監(jiān)理方、第三方檢測機構(gòu)來實施上述可靠性方案。目前在高可靠性特別是高密度數(shù)據(jù)中心布線系統(tǒng)工程中這還是一個尚未解決的難題。甲方如何就后續(xù)使用維護階段獲得持續(xù)的可靠性保障所需的人員、經(jīng)驗、工具也基本上處于自我摸索階段。

其實，如何實施高可靠性項目已經(jīng)是一套比較成熟的理論和方法，以下部分就如何通過檢測來保障數(shù)據(jù)中心信息化布線系統(tǒng)的高可靠性進行介紹，以期縮短這種“摸著石頭過河”不成熟期和高損失期。

如何避免開通應(yīng)用時鏈路誤碼率高的問題

【案例】一家網(wǎng)絡(luò)即時通訊公司租用電信機房作為數(shù)據(jù)中心，數(shù)十條萬兆鏈路開通時工作不穩(wěn)定，端口總有錯誤，且時常重啟，由于光纖長度70~100米，損耗只有大約2.5dB，故懷疑是10G光模塊問題，更換模塊和交換機主機后問題依舊。后經(jīng)過高解析度OTDR測試發(fā)現(xiàn)是中間誤用了一段35米左右的OM1光纖。更換OM3光纖后系統(tǒng)回復(fù)正常。

由于損耗測試合格，鏈路長度不超差，故傳統(tǒng)的損耗測試(一級測試，Tier 1)在此不能發(fā)揮作用，必須引入二級測試(在一級測試的基礎(chǔ)上增加OTDR測試)，才能檢測是否有異質(zhì)光纖、連接點/熔接點損耗超標(biāo)、連接點/氣泡/裂紋/捆扎過緊是否有過強反射。為了識別1米跳線，OTDR最好使用事件分辨率指標(biāo)短于1米的。

【案例】電纜光纜混合系統(tǒng)，萬兆采用電纜，少量40G采用高密度OM4光纖系統(tǒng)。設(shè)備開通時誤碼率很高，超過50%的鏈路不能正常工作。開通前對電纜鏈路進行過永久鏈路的驗收檢測，但由于高密度40G設(shè)備使用了預(yù)端接的MPO光纜進行連接，故沒有進行檢測，后來發(fā)現(xiàn)萬兆問題是因為使用的Cat6A跳線有質(zhì)量問題，串?dāng)_值非常高，MPO光纖因為安裝時不便清潔就只用氣囊吹了幾下，造成插座內(nèi)端面靜電灰塵沒有清理干凈，部分光纖芯損耗超過3.5dB，加上MPO跳線安裝前直接拆封沒有進行清潔就插入設(shè)備，端面反射達(dá)到-17dB，誤碼率升高。

電纜跳線是最容易忽略質(zhì)量的地方，但卻是最容易處理好的地方。Cat6/6A一般不允許用戶自制跳線，原因是成品率不高。永久鏈路(PL)在驗收時一般會做檢測，如果開通時只做通道測試(PC)，則可能因為跳線水晶頭不合格但通道檢測合格致使鏈路誤碼率上升。數(shù)據(jù)中心中應(yīng)該將準(zhǔn)備投入使用的跳線都做預(yù)檢(PC)，以保障接入鏈路后100%能投入正常使用，這就是著名的不等式：PL+PC>CH。

由于跳線參數(shù)離散性很大，跳線測試需要居中性的Cat6A跳線適配器進行檢測，以確保任何合格的PL鏈路都能接入使用。

由于長度一般很短，光纖跳線測試需要使用高解析度的OTDR來測試，以便區(qū)分跳線兩端的反射(ORL)是否過高。測試時必須在跳線兩端加上一段發(fā)射補償光纖和接收補償光纖，以避開測試死區(qū)和仿真端接情形。高速光纖跳線測試重點關(guān)注回波損耗參數(shù)(ORL)，永遠(yuǎn)也不要認(rèn)為剛開封的跳線就一定是清潔無污損的。這對保證整條鏈路的高可靠性重要。

由于MPO光纖將12芯光纖預(yù)端接在一個MPO插頭/插座之中，普通的光纖測試儀不能直接進行測試，致使部分用戶放棄現(xiàn)場檢測，這是嚴(yán)重降低高可靠性的“不良行為”。其實解決方法很簡單，實施此類一般需要使用扇形跳線與光源/光功率計或OTDR相連進行測試�；蛘咧苯邮褂肕PO測試插座的測試儀進行測試。

如何避免驗收測試不合格比例搞的問題

驗收時發(fā)現(xiàn)大批量不合格是一件令所有參與各方都很尷尬的事情，最主要的原因有兩個：一是產(chǎn)品選擇不當(dāng)，二是施工質(zhì)量/工藝太差。第一個問題可以通過監(jiān)測試、入庫測試、進場測試等手段完美地解決。第二個問題可以通過隨工測試、監(jiān)理測試等手段及早發(fā)現(xiàn)并即時解決。

T2測試如何幫助保證高速鏈路的質(zhì)量

T2測試(Tier 2)就是光纖二級測試，是在損耗測試的基礎(chǔ)上增加OTDR測試，并判斷是否有影響鏈路性能的“事件”。

低速鏈路不需要T2測試。這里1G速率是一個轉(zhuǎn)折點，從1G開始特別是進入10G、40/100G高速鏈接后對光信號的色散和損耗都比較敏感。由于色散的測試現(xiàn)場存在實施困難和精確度問題，目前建議采用變通的方式來進行測試。TIA568C中增加了使用OTDR對連接點、熔接點的損耗進行檢測，并提出了最低值極限要求。在通用光纖標(biāo)準(zhǔn)中要求中增加了光回波損耗測試的要求(分為-35/-40/-55dB三檔，對應(yīng)不同的連接器類型要求)。需要特別指出的是，由于數(shù)據(jù)中心光纖使用較短，跳接較多，一般的OTDR不適用與這種測試場合，而要求使用事件死區(qū)短于1米的OTDR，這樣才能檢測可能被使用的1米跳線是否存在問題。

高密度短鏈路測試的特殊問題

如上所述，高密度MPO光纖的損耗測試需要使用扇形測試跳線(fan-out cord)，或者直接使用具備MPO測試插座的測試儀進行測試。

跳線級測試：光纖、電纜

光纖鏈路誤碼率高最大的原因是光纖端面污損

端面污損占據(jù)光纖鏈路檢測不合格比例90%以上。由于面板/配架插座不注意防塵，引起損耗增加。由于跳線多位凸出設(shè)計，非常容易收到灰塵特別是指紋的污染。高速光纖對損耗和反射非常敏感，因此高速光纖與低速光纖安裝時的習(xí)慣要求差異大，接入前必須堅持端面檢查和清潔流程。此時在低速光纖安裝中長期積累的一些“不良經(jīng)驗”不再適用，比如默認(rèn)新開封的光條線一定干凈無污損的、使用一些噴霧自動清潔劑、使用氣囊代替用清潔劑進行清潔、使用帶纖維殘留的清潔布/棉簽等。

定期檢測、視情檢測、再認(rèn)證與高可靠性

高可靠性的最基本要求就是a)不出或少出問題(防止問題)，b)除了問題能即時解決(快速解決問題)。由于布線系統(tǒng)經(jīng)常存在增刪、擴容、拓?fù)浣Y(jié)構(gòu)改變、速度升級等必要活動，定期檢測和視情檢測向結(jié)合是防止信息化問題發(fā)生的最佳方法。一般建議1.5-2年需對布線系統(tǒng)進行輪測，而對于變動、開通、升級、擴容、故障后恢復(fù)等活動則進行再認(rèn)證、視情檢測相結(jié)合的方法實施檢測。

【小結(jié)】

高密度數(shù)據(jù)中心信息化布線系統(tǒng)對可靠性要求非常高。這是保證系統(tǒng)運行效率、減少低效運行、停運、故障持續(xù)時間帶來的巨額損失的最基礎(chǔ)指標(biāo)。高可靠性從規(guī)劃設(shè)計階段就要開始質(zhì)量保障流程的落實，進而在選型采購、安裝調(diào)試、檢測驗收、使用維護個階段引入靠可靠性保障措施。檢測方法、時機、手段在各階段中起著最核心的作用。

服務(wù)器租用/服務(wù)器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]