在數(shù)據(jù)中心能耗中,IT設(shè)備的能耗居首,其次為制冷能耗;以一個PUE=1.5的數(shù)據(jù)中心為例,電力系統(tǒng)消耗5%～10%,接近25%～35%是制冷能耗。探索低能耗提升效率,優(yōu)化TCO成本的綠色節(jié)能制冷系統(tǒng)方式是本文探索的重點。

1 數(shù)據(jù)中心制冷系統(tǒng)節(jié)能的界定

數(shù)據(jù)中心制冷系統(tǒng)的綠色節(jié)能,由三個主要的指標(biāo)來界定和評估:最大化制冷效率、最小化能量傳遞能耗和系統(tǒng)成本最優(yōu)。因此對于數(shù)據(jù)中心制冷系統(tǒng)節(jié)能方式將從兩個維度進行分析評估,即從熱量傳遞途徑橫向進行剖析和制冷系統(tǒng)縱向的比對。通過對制冷系統(tǒng)的分解,可以劃分為四個級別(見圖1):

①從冷卻數(shù)據(jù)中心的IT設(shè)備的芯片級別開始,是設(shè)備部件級別的冷卻級,為第一級;

②IT硬件設(shè)備散熱到機架,是硬件設(shè)備的冷卻級,為第二級;

③若干設(shè)備組成的機架和機架列散熱,是機架和模塊級別的冷卻級,為第三級;

④機房內(nèi)部熱量被冷卻系統(tǒng)傳導(dǎo)到室外,完成整個制冷冷卻系統(tǒng)的流程,為第四級,主要是縱向的不同類型制冷系統(tǒng)的對比。

這四個級別可以在每個層級進行分析對比,尋找每個級別最佳節(jié)能方式。最后，運營管理和能效管控系統(tǒng)是實現(xiàn)這些節(jié)能方式發(fā)揮效果的重要手段。

2 第一級別制冷系統(tǒng)節(jié)能方式:芯片/IT節(jié)點設(shè)備冷卻

(1) 風(fēng)冷散熱片

風(fēng)冷散熱片是最常見的散熱器件,一般是導(dǎo)熱性能比較好的鋁或銅等材料,加工成散熱翅片以增加散熱面積和效率,通過特殊的介質(zhì)(通常是導(dǎo)熱硅脂)緊貼住發(fā)熱量很大的芯片,然后再在散熱片上固定一個風(fēng)扇來增加流速,提升換熱能力,更快帶走熱量,從而達到對芯片散熱的目的。提升風(fēng)冷散熱的途徑是提高散熱面積、提高換熱系數(shù)、提升輻射散熱效率、使用散熱效率更佳的材料、粘合充分接觸保證降低傳導(dǎo)熱阻等,風(fēng)冷散熱片如圖2所示。

風(fēng)冷散熱片的優(yōu)點是簡單實用,且價格低廉。其缺點:

①冷卻效率不高,不能完全將CPU發(fā)熱量散發(fā)出去,僅依靠傳導(dǎo)和對流容易達到風(fēng)冷散熱器導(dǎo)熱極限;

②隨著風(fēng)扇的功率和轉(zhuǎn)速的增大,噪聲也隨之增大;

③由于風(fēng)扇是運動部件,較易損壞,對可靠性有一定影響。

(2) 熱管散熱器(見圖3)

熱管散熱器對比常規(guī)的風(fēng)冷散熱片有所改變,在最貼近CPU部分使用高效的熱管替代常規(guī)金屬基座。熱管是通過封閉的金屬腔體和毛細(xì)吸熱芯,充分利用了換熱工質(zhì)在熱端蒸發(fā)后,在冷端冷凝相變(即利用液體的蒸發(fā)潛熱和凝結(jié)潛熱)和熱傳導(dǎo)原理,使熱量快速傳導(dǎo)透過熱管將發(fā)熱物體的熱量迅速傳遞到熱源外,其導(dǎo)熱能力高于同等質(zhì)量金屬達到數(shù)量級的級別,而且平板型熱管的熱溫度場均勻,局部換熱量大,成為更佳的散熱解決方案,當(dāng)然成本有所增加。

(3) 液冷

液體冷卻通常采用特種或特殊處理液體直接或近距離間接換熱冷卻芯片或者IT整體設(shè)備。液體冷卻分間接液冷和直接液冷。

間接液冷實質(zhì)是冷媒與發(fā)熱元件被導(dǎo)熱材料分離,不直接接觸,而是通過液冷板、液冷頭等高效熱傳導(dǎo)部件,將被冷卻對象的熱量傳遞到冷媒中,冷媒再通過制冷系統(tǒng)實現(xiàn)冷媒的循環(huán)和降溫。

采用間接冷卻的液冷散熱系統(tǒng),對IT設(shè)備沒有明顯改動,僅需將原風(fēng)冷散熱片替換為液冷散熱片,成為冷媒換熱系統(tǒng)。常規(guī)情況下,芯片工作溫度為20～60℃區(qū)間,可以使用無相變的水(離子水+銅緩蝕劑)或者水氟轉(zhuǎn)換系統(tǒng)進行換熱,通過外部冷卻水或冷凍水系統(tǒng)實現(xiàn)系統(tǒng)換熱。該系統(tǒng)重點在于選擇合適的冷媒,并且設(shè)計復(fù)雜的冷媒管路到達每個機架,為每個IT設(shè)備設(shè)計無滴漏的快速接頭,保證液冷系統(tǒng)支持熱插拔,實現(xiàn)維護時不中斷整個系統(tǒng),并避免換熱介質(zhì)流出。流體直通式間接冷卻如圖4所示。數(shù)據(jù)中心中較多的循環(huán)管路,成了故障維護和水力平衡的難題。

直接冷卻是采用密閉的氟化液等礦物質(zhì)直接浸泡冷卻IT設(shè)備的芯片、內(nèi)存等發(fā)熱部件,形成密封的一級散熱循環(huán)系統(tǒng),而二級循環(huán)系統(tǒng)可以采用自然風(fēng)冷或者冷卻水系統(tǒng)進行冷卻。對比間接制冷系統(tǒng),直接冷卻對發(fā)熱元器件冷卻的均勻度更好,冷卻液溫度可以更高,尤其是選擇一定溫度下相變的液體,局部散熱能力強,散熱效果更好;比如對于60℃的芯片,可以采用50℃冷卻水或冷卻蒸發(fā)溫度在55～60℃的冷媒流體,因此,即使夏季45℃高溫天氣,也可以實現(xiàn)直接新風(fēng)冷卻或者冷卻塔,從而數(shù)據(jù)中心實現(xiàn)全年自然冷卻,降低能耗,這對于全球溫帶和熱帶區(qū)域?qū)崿F(xiàn)制冷系統(tǒng)的高效帶來了突破,是有競爭力的制冷方案。整體浸泡式液冷直接冷卻如圖5所示。

但是液體冷卻面臨較多挑戰(zhàn):

①目前液冷更適合于高功率密度和全新的服務(wù)器架構(gòu)設(shè)計,無法兼容目前主流的風(fēng)冷的服務(wù)器架構(gòu)和數(shù)據(jù)中心設(shè)計,改造難度大。

②因規(guī)模和應(yīng)用范圍的限制,尤其是部分IT設(shè)備部件材料在直接冷卻液體中的兼容性和化學(xué)穩(wěn)定特性需要長期測試驗證,液體冷卻的成本較高。

③系統(tǒng)設(shè)計有待項目驗證和優(yōu)化,如對于每個IT設(shè)備液冷需要大量的管路優(yōu)化設(shè)計和水力平衡及流量控制、冷媒冷卻溫度的控制和二級循環(huán)冷卻管路的匹配聯(lián)動控制等。

④IT設(shè)備的維護更換需要液冷支持快速插拔無滲漏的更換,供電電纜和傳輸?shù)墓饫|連接器等有源部件的密封和散熱都需要優(yōu)化設(shè)計。

在這一級別的換熱環(huán)節(jié)中,不論散熱片還是熱管均需要IT設(shè)備級別的風(fēng)扇強制對流換熱,二者的區(qū)別無非是使用換熱效率和溫度場均勻度方面存在差異,風(fēng)冷散熱片的散熱極限一般為40W/cm2。

利用腔體內(nèi)的沸騰或者熱管配合風(fēng)冷強制換熱,常規(guī)做到100W/cm2,利用IC工藝制成的多根微型熱管陣列的水冷泵循環(huán),其冷卻功率可達200W/cm2,而當(dāng)水的流量為10cm3/s,水的溫升為71℃時,冷卻熱流高達790W/cm2,是目前散熱能力最大的水冷裝置。

3 第二級別制冷節(jié)能方式:IT設(shè)備機架散熱

這一級別的換熱是IT機架與數(shù)據(jù)中心區(qū)域環(huán)境的熱交換,可以將換熱方式劃分為兩種模式:一種是直接風(fēng)冷換熱或風(fēng)冷結(jié)合某種高效液冷換熱單元部分進行接力傳遞換熱;另一種是直接浸泡換熱。

(1)機架的風(fēng)冷換熱

機架的風(fēng)冷換熱的核心是在實現(xiàn)IT設(shè)備正常工作的均勻溫度場基礎(chǔ)上,實現(xiàn)溫差和風(fēng)量的匹配均衡,其節(jié)能實現(xiàn)的途徑主要為兩種:第一種是在保證IT設(shè)備正常工作溫度基礎(chǔ)上,盡量提升送風(fēng)溫度,保證合適的風(fēng)量,降低上一級換熱系統(tǒng)的能耗,實現(xiàn)系統(tǒng)的節(jié)能,是主要的節(jié)能方式;另一種是大溫差減少送風(fēng)量對應(yīng)減少風(fēng)機能耗的節(jié)能方式,調(diào)風(fēng)量降低風(fēng)機能耗主要是使用直流或者變頻風(fēng)機根據(jù)IT設(shè)備工作情況進行自動調(diào)節(jié),但是對于數(shù)據(jù)中心整個制冷環(huán)節(jié),1臺250W的服務(wù)器常規(guī)配置兩個12～15W的風(fēng)扇,風(fēng)機能耗占比為5%左右,即使可以采用變頻或者直流風(fēng)機對比定頻風(fēng)機實現(xiàn)10%～20%的節(jié)能,但是整體節(jié)能空間僅(10%～20%)×5%=0.5%～1%,節(jié)能空間有限。

(2)IT機架氣流組織的改善

IT機架可以在滿足運營安全的情況下,去除機柜前后柜門改善氣流組織。目前機架常規(guī)的柜門開孔率在40%～70%,去除柜門,可以有效降低送風(fēng)和回風(fēng)阻力。

更有效的氣流組織改善方式是IT設(shè)備機架的進行盲板密封,可以將IT機架前后進出風(fēng)空間有效密封,避免服務(wù)器吸入熱通道回流熱風(fēng)而導(dǎo)致的局部過熱,增加IT設(shè)備的能耗,另外,這一措施為提升整體送風(fēng)溫度做準(zhǔn)備。

筆者在某運營的數(shù)據(jù)中心中,對比測試機架密封與不密封情況;在風(fēng)冷空調(diào)送風(fēng)13～14℃時,IT機架密封時正面進風(fēng)溫度場比較均勻,穩(wěn)定在14～15℃;而當(dāng)機架沒有盲板密封情況下,因機架熱回風(fēng)容易短路回流,整個機架溫度場會提升到20～22℃,服務(wù)器風(fēng)溫度提升到30℃,出現(xiàn)局部區(qū)域過熱的趨勢。圖6和圖7分別是IT機架在密狀態(tài)下和有漏風(fēng)無盲板密封狀態(tài)下的溫度分布圖。

(3) IT機架局部高效換熱

IT設(shè)備機架散熱效率提升,主要采用各種近距離高效換熱設(shè)備,如無風(fēng)扇背板換熱器和熱管換熱器、有源的定點風(fēng)機盤管(置頂/機架架空地板下均可)、列間空調(diào)、冰箱式內(nèi)部風(fēng)機盤管等;因應(yīng)用場合和對于水進入機房的考慮不同,循環(huán)工質(zhì)可以選擇水或者氟利昂等介質(zhì)。

近距離制冷單元(見圖8)對比遠距離的機房空調(diào)等,有兩個亮點:一是機柜級別的換熱循環(huán),循環(huán)路徑僅為機柜的深度或者高度,可以減少循環(huán)路徑中的漏風(fēng)或者短路影響,即減少循環(huán)風(fēng)機的能耗,風(fēng)機能耗同比降低10%～20%。但因為風(fēng)機能耗在整體能耗所占比例低,節(jié)能空間有限。二是直接最短距離與IT設(shè)備機架的熱回風(fēng)直接換熱(IT設(shè)備熱回收常規(guī)在30～40℃),可以將循環(huán)換熱供回水溫度提升到17℃/22℃,對比常規(guī)數(shù)據(jù)中心制冷系統(tǒng)設(shè)計的循環(huán)供回水溫度(如10℃/15℃)提升了7℃,節(jié)能環(huán)節(jié)可以轉(zhuǎn)移在外部制冷循環(huán)上。有的文獻對各種空調(diào)系統(tǒng)的能耗系數(shù)做了比較,指出機房級別的風(fēng)冷空調(diào)能耗最高,其次為高溫冷凍水空調(diào),再次是機架級別的列間空調(diào)和水冷背板系統(tǒng),最優(yōu)為芯片級別,其能耗最低。所以,減少制冷環(huán)節(jié)中的損耗、更有效的冷卻換熱設(shè)備、更短途徑的冷卻發(fā)熱設(shè)備,能實現(xiàn)更低的能耗。

4 第三級別制冷節(jié)能方式:機架列-模塊房間節(jié)能

在機架列到數(shù)據(jù)中心機房的節(jié)能,主要是通過房間和區(qū)域的氣流組織優(yōu)化,提升機房空調(diào)的利用效率,對于IT設(shè)備發(fā)熱源進行相對精確的冷量匹配,溫度場調(diào)優(yōu),實現(xiàn)最大化利用冷風(fēng)冷卻IT設(shè)備,實現(xiàn)節(jié)能。節(jié)能方式有冷熱通道進行分離,再增加送風(fēng)地板或回風(fēng)吊頂,有組織的進行氣流組織引導(dǎo),有效減少同等散熱量情況下的風(fēng)量和壓頭損失,從而降低風(fēng)機能耗;再次將冷通道或者熱通道進行密閉,從而保證送風(fēng)溫度場的均勻,避免局部熱點,目的是提升送風(fēng)溫度對應(yīng)提高制冷系統(tǒng)的蒸發(fā)溫度從而實現(xiàn)制冷系統(tǒng)壓縮機功耗的降低,最終在第四級別的制冷系統(tǒng)級實現(xiàn)整體節(jié)能。圖9為典型冷通道密封情況下熱成像剖面圖,下部為地板風(fēng)口,上部為通道門,兩側(cè)為服務(wù)器進風(fēng)口。

5 結(jié)束語

降低數(shù)據(jù)中心的制冷能耗,是優(yōu)化PUE的重要手段。探索低能耗、提升效率,優(yōu)化TCO成本,構(gòu)筑綠色節(jié)能的制冷系統(tǒng)將成為建設(shè)綠色數(shù)據(jù)中心的重點。

• 上一篇：政策隨需及時調(diào)整 空調(diào)采購規(guī)范有序
• 下一篇：數(shù)據(jù)中心機房柴油發(fā)電機組容量選擇和計算
  
• 文章標(biāo)簽： 數(shù)據(jù)中心 系統(tǒng)
• 注：原創(chuàng)內(nèi)容，禁止轉(zhuǎn)載，如有轉(zhuǎn)載，請標(biāo)明出處。如有內(nèi)容侵犯您的權(quán)益，請聯(lián)系刪除！QQ:315212307