1. 程式人生 > >說說我們自建IDC的規劃,和走過的那些坑

說說我們自建IDC的規劃,和走過的那些坑

1. 公司機房發展史

隨著網際網路行會的飛速發展,公司對於IT資訊方面的應用的越來越多。如今任何公司都離不開網路,小的幾十至上百人員上網需求,一臺路由器加數臺交換機組成公司網路。大的成千上萬的客戶端全球分公司互聯,防火牆、VPN、認證准入、高階路由交換,成百上千齊全的網路裝置來保障公司正常網路需求。

一般公司成立之初、員工和業務較少、網路裝置和伺服器也就數臺。機房就是一個小房間、幾臺裝置、一個機櫃搞定。

隨著公司業務規模、人員擴充套件;小機房裡的機櫃也開始成倍的增加。這一階段主要還是在以擴充套件網路接入為主題。

當公司規模逐漸擴充套件、業務需求也更加複雜和多樣化。原本只規劃用做網路接入的機房已經無法滿足這些需求,眾多的內部業務需要用伺服器來支撐,無穩定的環境為公司提供持續的服務。為保障這些裝置能夠放在一個良好的環境當中執行,只能選擇是託管或自建伺服器機房。於是乎開始規劃建設自己的資料中心機房。

2. 自建專業機房的必要性

2.1 需求導向

2.1.1 內部業務擴充套件

公司網路環境比較複雜,網路規劃非常重要。隨著公司規模的不斷擴充套件。網路裝置、公司網站、郵件系統、OA系統、資料庫系統、檔案伺服器、FTP伺服器、內網研發平臺伺服器等的大量需求。分散式的小機房已無法滿足需求。而自建機房則可以對辦公資料、研發資料等進行更加合理網路規劃與劃分。

2.1.2 大量需求集中管理的高效性

隨著公司規模的壯大,企業人員規模、內部業務系統也都隨之擴充套件。內部用網裝置規模日漸龐大,大量的需求分佈在大廈的各個樓層,集中管理是大勢所趨。網路裝置、伺服器及其它IT應用的裝置都可以進行集中的管理,可靈活的規劃自有資源的使用。應急情況處理方便且高效,如日常發生伺服器突然宕機或其他故障可以在第一時間進行現場重啟和維護。減少了很多的溝通成本提高維護效率。

2.2 保障研發資料安全

網際網路行業普及的當下企業的資訊保安受到越來越多的重視。在保護好研發資料安全及企業其他的無形資產資訊資產的大前提下,我們必須做更多的思考和規劃。那麼如果能在一個集中化管理的環境中對所以終端網路許可權進行統一的設定;同時將研發環境和線上運營環境完全獨立開來,對研發資料進行重點的隔離保護,報障重要的資料不被外洩。這些需求使得自建伺服器機房無疑成為了剛需。

2.3 虛擬化的規模優勢

網際網路行業尤其是軟體研發企業,內部對研發環境伺服器的需求是非常大的。這便面臨需要在虛擬化和物理伺服器器之間的選擇。相信大家都能理解,虛擬化方案在集中管理、擴充套件性、故障轉移等方面具備的優勢非常明顯。但虛擬化架構的基礎投入並不低,要實現對物理伺服器的成本優勢還需要一個大的前提就是規模效應。而我們現在正好具備這一前提,那自然要讓虛擬化大行其道。

3. 機房建設規劃

機房作為公司核心網路裝置,辦公應用、內部軟體研發等業務硬體支撐的心臟。機房的建設、區域劃分、裝置選型等前期需要做充足的規劃,保證了後期的健康執行和擴容。

機房的建設分為多個系統,裝飾系統、電力系統、製冷、綜合佈線、新風、防雷、消防等等”。在這裡我們主要是介紹幾個關鍵系統的前期規劃和裝置選型。

3.1 機房面積規劃

根據網路裝置數量、伺服器數量、伺服器裝置增長預留餘量。機房配置600*950伺服器機櫃50個,2排可放置100臺塔式伺服器機架。用於搬運裝置的通道不小於1.5米;機櫃正面和背面正常距離為1米至1.2米。根據容量計算,主裝置間需要140平方米。

輔助區的面積一般為主機房的0.5至1倍。監控室的面積按3.5至4平方米計算。結合寫字樓的實際場地、輔助區規劃100平方米。機房總面積規劃為240平方米。

3.2 機房功能區域規劃

精密空調區:用於擺放三臺精密空調,為機房製冷;
網路裝置區域:用於放置公司核心網路裝置、呼叫裝置、機房伺服器的接入層網路裝置和機房接入層配線架;
儲存區域:放置儲存裝置區域;
伺服器區域:伺服器機櫃集中區域;
UPS配電間:安放UPS電池櫃和2臺配電櫃;
空調外機間:放置精密空調外機;
消防裝置區域:放置消防氣瓶和消防裝置區域;
監控室:日常辦公,機房管理和監控;
緩衝區:用於進出機房人員換衣、換鞋的區域,同時也是防跟隨確認區,進入機房需要進過兩道門禁刷,以保證安全。

3.3 製冷系統

由於機房裝置都會釋放大量熱量,為保持這些裝置安全穩定地執行,就一定要使機房室內保持恆定的溫度,空調系統的製冷迴圈部分就必須為機房源源不斷地提供製冷量,同時也具有除溼的功能。

機櫃熱量迴圈:

3.3.1 製冷規劃和選型

製冷系統承載通常計算採用“功率和麵積法”計算機房總冷量比較準確;機房主要的熱負荷來源於裝置的發熱量及維護結構的熱負荷。根據以往經驗,除主要的裝置熱負荷之外的其他負荷,如機房照明負荷、建築維護結構負荷、補充的新風負荷、人員的散熱負荷等可根據機房的面積進行估算,鑑於機房的實際情況,環境熱負荷取180W/m2進行計算。

採用“功率及面積法”計算機房熱負荷:
Qt=Q1+Q2
Qt:總製冷量(KW)
Q1:室內裝置負荷(=裝置功率×0.8)
Q2:環境熱負荷(=0.1KW/m²×機房面積)

具體選型過程如下:
Qt=Q1+Q2
Qt:總製冷量(KW)
Q1:室內裝置負荷(=裝置功率×0.8)
Q2:環境熱負荷(=0.1KW/m²×機房面積)
Q1=120KW*0.8=96KW
Q2=0.1KW/m²*180/m²=18KW

所以180平方機房推算所需要的總製冷量公式:
Qt=Q1+Q2=96KW+18KW=114KW

所以理論上180平方機房應配置總製冷量110KW左右的精密空調;以滿足機房的相關需求

根據計算結果,機房採用3臺30KW功率的精密空調,一般情況下開啟2臺,還有一臺精密空調備用,一個月輪詢一次。機房的溫度和溼度分別維持在23℃±2℃、50%RH±5%。

3.3.2 裝置選型

1、備份自動切換功能、當群組中機組故障時備用機組自動投入執行、提高空調系統的可靠性;
2、輪巡:定時切換到備份機組;
3、根據機房內熱負荷的變化自動控制機組中空調機的執行數量;達到節能的目的;
4、具有標準的報警功能:高溫報警、低溫報警、高溼報警、低溼報警、系統高壓報警、系統低壓報警、濾網堵報警、風量丟失報警、其他使用者自定義報警等;
5、國產知名品牌、價格相對實惠,售後有保障;
6、採用下送風,上回風方式送風,這種方式送風均勻,噪音小;
7、功率30KW左右。

機房精密空調2臺使用、一臺備用。在精密空調的裝置選型上、出於成本考慮,選擇國內口碑不錯的品牌即可。

3.4 電力系統

市電功率

電力系統作為機房至關重要的系統,出現故障影響非常大。在配電規劃上也要考慮到一定的餘量。
機房主要電力負荷:
空調:30KW*3=90KW
照明:8KW
新風機:4KW
網路和伺服器裝置:180KW*0.8=144KW
機房總功率:90+8+4+144=246KW

UPS

UPS後備電源以提供應急保障,考慮到公司區域和該寫字樓電力較穩定。根據機房業務和成本考慮。保障時間控制在1個小時左右。

UPS容量計算:
公式:裝置總負載功率/線上式UPS功率因子(一般為0.8)=UPS容量(VA)
144KW/0.8=180000VA
考慮到UPS容量的冗餘、一般以20%到30%,UPS的容量應該為180000VA *1.2=216000VA.

電池容量計算:
以1小時計算,216000VA*1H/(0.8*384V)=703AH
需要選用4組200AH的電池。每組為384V/12V=32節。

3.5 環境監控

機房的環境裝置(供配電、 UPS、空調、消防、保安等)必須時時刻刻為計算機系統提供正常的執行環境。一旦機房環境裝置出現故障,就會影響到計算機系統的執行,對資料傳輸、儲存及系統執行的可靠性構成威脅,如事故嚴重又不能及時處理,就可能損壞硬體裝置,造成嚴重後果。現在大部分專業機房都採用了環境監控系統,環境監控系統對機房的精密空調、機房溫溼度、門禁系統、電力系統、漏水、視訊等故障通過郵箱、簡訊、電話、聲音實時報警。通過環境監控系統的報警,能及時的通知機房管理人員處理突發的故障,保障機房裝置正常執行。

3.5.1 環境監控系統規劃
1、使用方便,介面友好,能夠以組態圖的形式直觀的顯示環境監控的狀態,能夠方便的進行操作控制;
2、資料和報警資訊儲存時間不少於6個月;
3、能對門禁、漏水、溫溼度、市電、ups、新風機、視訊監控、精密空調進行監控;
4、可以採用郵箱、簡訊、電話、聲光報警;
5、可以自定義報警級別。

4. 總結

通過以上這些規劃,我們已經可以組織好一份基本的IDC伺服器機房建設的需求;那麼剩下的事情就是通過招標找供應商來負責土建工程實施。這部分具體的細節暫時不做詳細的說明了。架構資料中心應該注重節能和持續發展,因為隨著業務的發展,需求自然是不斷擴充套件。

網際網路行會的飛速發展,公司對於IT資訊方面的應用的越來越多。內部需求導向下越來越多的公司自建機房。機房也成為企業重要的一個組成部分,機房建設固然是一項不可輕視的工程。絕大多數的企業的機房建設都是外部給供應商、機房建設的好壞,取決於供應商設計的理念和技術水平。我們作為機房的使用者而非建設者。在眾多機房相關的系統下,我們不需要每個都非常瞭解透徹。但是機房關鍵系統建設和機房前期規劃我們需要掌握一些基本的資訊。在自身也清楚機房建設的注意事項的情況下,可以對施工服務團隊施加多一層監督,讓機房建設可以得到更大程度的保障。

5. 我們一路踩過的坑

機房建設前的規劃、建設中期的施工各方面都考慮的比較仔細。但是在使用過程中才發現在前期的規劃施工中也有考慮的不到位。不經意的埋下了多個坑。

5.1 冷凝水問題

機房在冬天需要保溫、夏季需要隔熱以及防止冷凝水等問題,這裡主要是強調冷凝水的問題、,下層天花冷凝水是比較常見的。尤其是南方這邊的回南天。機房地板保溫做不到位就比較容易出現。

機房建設在寫字樓,樓層高度限制以及地板厚度不夠,鋪完保溫棉後靜電地板下面空間不是太高,冷空間在靜電地板下堆積。在回南天時樓下天花板有冷凝水。後期通過增加精密空調風道解決冷凝水問題。也帶來了“後遺症”,因施工不便風道並沒有整個機房都做到位,機房部分割槽域溫度相對其它位置偏高。

在建設機房時(尤其是南方)因充分考慮到冷凝水的問題,後期再去解決不僅費時費力。解決不好也會產生新的問題。在建設時因考慮到樓層厚度不夠的問題、可以在整個機房做精密空調風道。

5.2 機房漏水

機房裝置對水極為敏感。機房防水不容忽視,輕者造成機房裝置受損,業務中斷,降低使用壽命;重者造成裝置損壞和資料丟失,帶來嚴重甚至無法挽回的經濟損失。

機房範圍內有下水管道,空調冷凝水管道直接通過機房中的下水管排水,後期接口出現漏水,水迴流到機房大片區域。

機房的建設者都清楚機房防水的重要性。在建設機房時也有充分的考慮漏水隱患。機房應徹底避免水源隱患,空調冷凝水必須使用管道引排至室外或者下一層地漏。

5.3 配電規劃不仔細

公司辦公地點分佈在同一棟樓的多個樓層、每個樓層有一個接入層小機房。避免市電跳閘、停電等,小機房的電力通過強電井從自建中心機房UPS接入。為節約成本,在規劃時各樓層小機房共用一路電。出現過物業強電井維護時短路,UPS上的空氣開關跳閘、所有小機房裝置停電的故障。為避免集體跳閘問題,重新從中心機房單獨拉線到每個樓層小機房。

為避免斷電事情發生,前期規劃時就需要每個小機房單獨從UPS上接入。

5.4 精密空調高壓報警

放置精密空調外機外機的位置因空氣迴圈不暢,導致高壓告警。當時根據供應商的建議,在外機區域的窗戶上用抽風機散熱。在使用中發現散熱效果不理想。抽風機24小時執行容易故障。使得精密空調經常高壓報警,不製冷。持續了2個夏天,增加了過多的人力成本。後採用風道的解決方案。給每個精密空調外機增加一個風道。風道成本低廉,效果明顯。徹底解決了精密空調高壓報警問題。

僅以此獻給有心籌劃企業自建機房的小夥伴們。

原文來自微信公眾號:運維軍團