10月30日消息，KKR和私募股權(quán)投資公司Energy Capital Partners（ECP）將投資500億美元全面支持人工智能發(fā)展，主要方向為數(shù)據(jù)中心和能源領(lǐng)域。

10月30日消息，萬國數(shù)據(jù)國際業(yè)務(wù)再獲10億美元股權(quán)融資，助力加速海外新興市場戰(zhàn)略布局。

10月30日消息，西貢電信技術(shù)股份公司（Saigontel）有意在胡志明市古芝縣新富忠工業(yè)園（Tan Phu Trung）開發(fā)新的數(shù)據(jù)中心項目。

10月28日消息，微軟計劃在利金縣開發(fā)三個數(shù)據(jù)中心園區(qū)，并在初始階段投資10億美元。該項目于周一獲得了州稅收優(yōu)惠的批準。

10月28日消息，銀川中創(chuàng)普惠智算中心項目12月初將完成設(shè)備調(diào)試，最快年底完成交付。

10月28日消息，中國（新疆）自貿(mào)試驗區(qū)喀什片區(qū)智算中心預計11月中旬完成一期機房改造，最快年底將夠提供算力服務(wù)。

10月25日消息，中貝合肥智算中心與知魚智聯(lián)正式簽署算力集群交接書，完成首批華為910B算力集群交付。

10月24日消息，河南空港智算中心項目首批2000P算力正式進入加電調(diào)試階段。

10月24日，尚航科技重磅發(fā)布尚航全新智算中心項目——“懷來尚云智算中心”。

……

10月8日，富士康宣布，將攜手英偉達（NVIDIA），打造有史以來全球最快的單體AI超級計算中心——鴻海高雄超級計算中心。

……

10月以來，全球數(shù)據(jù)中心建設(shè)布局熱度不減，尤其我國大批智算中心建設(shè)正全面提速，很多項目都陸續(xù)進入交付階段。然而，隨著生成式AI應(yīng)用的持續(xù)發(fā)展，在進行智算中心規(guī)劃和建設(shè)時，很多重要新變化值得引起行業(yè)關(guān)注，涉及智算中心的設(shè)施工程、電力、制冷等諸多廠商。

全球數(shù)據(jù)中心建設(shè)布局

其中，兩個重大變化值得整個IDC產(chǎn)業(yè)關(guān)注：一個是算力密度增加帶來的設(shè)計、設(shè)備等一系列要求變化，主要涉及包括GPU的利用率以及總擁有成本TCO等問題。一個是電力需求引發(fā)的整體布局、設(shè)計、設(shè)備的要求變化，主要涉及包括工作負載以及故障等問題。

01 Meta拆了在建的數(shù)據(jù)中心

2022年12月，Meta對外宣布已經(jīng)停建了兩個位于丹麥歐登塞的數(shù)據(jù)中心，Meta這一動作的主要原因是舊設(shè)計（下圖左側(cè)）是針對低功率密度(Power Density)的方案，無法滿足AI的全新需求，之后Meta用全新AI就緒設(shè)計（AI-Ready design）（下圖右側(cè)）替代了原有方案，這一舉措對全球數(shù)據(jù)中心行業(yè)引發(fā)著深遠影響。

AI就緒設(shè)計

【IDC圈注】“AI就緒設(shè)計（AI-Ready design）”指的是為應(yīng)對人工智能應(yīng)用而特別優(yōu)化和配置的數(shù)據(jù)中心設(shè)計。這類設(shè)計通過采用最新的硬件和電力系統(tǒng)來支持AI的高功率和高密度計算需求。例如，它們集成了高效的電力傳輸、冷卻系統(tǒng)和計算密度，能夠支持AI訓練和推理任務(wù)所需的強大計算能力。AI就緒設(shè)計通常包括更高的功率密度、先進的冷卻技術(shù)（如液冷），并針對GPU和AI工作負載進行優(yōu)化，以實現(xiàn)更高的性能和能效。這樣，數(shù)據(jù)中心能夠更好地滿足AI應(yīng)用的性能需求，并降低整體的總擁有成本（TCO）。

Meta原有的“H"型舊設(shè)計，對建筑整體建設(shè)部署成本較高：通過計算發(fā)電機組數(shù)量比較會發(fā)現(xiàn)，其"H"型建筑最多配備36個發(fā)電機組，但Google使用更大容量的發(fā)電機僅需34個，而且其單體建筑面積是Google建筑的一倍多?？紤]到規(guī)模和結(jié)構(gòu)的復雜性，建設(shè)周期差異很大："H"建筑從開工到竣工需要約兩年時間，而Google的建筑僅需6-7個月。

然而，以上都不是做出設(shè)計改變的根本動因，更重要的是功率密度：Meta原有的“H"型建筑每平方英尺千瓦數(shù)不足Google數(shù)據(jù)中心的1/3，哪怕"H"建筑在能源效率方面具有顯著優(yōu)勢，依然無法抵消其在生成式AI競爭中的劣勢。因為任何無法提供更高密度液體冷卻能力的數(shù)據(jù)中心，將來都無法為客戶帶來顯著的性能與總擁有成本（TCO）改進，進而導致在生成式AI競爭中落后。

02 算力密度增加帶來“新變”

近年來，數(shù)據(jù)中心的性能演進正逐步適應(yīng)高功率密度和AI工作負載的需求，但這一過程面臨著技術(shù)和經(jīng)濟上的多重挑戰(zhàn)。

數(shù)據(jù)中心的性能演進

首先，高功率密度方面，目前大多數(shù)現(xiàn)有托管數(shù)據(jù)中心都還沒有準備好支持單機架功率密度超過20 KW的需求。盡管預計2024年芯片供應(yīng)瓶頸將有所緩解，但對于超大規(guī)模企業(yè)和托管服務(wù)提供商可能仍然會面臨數(shù)據(jù)中心容量的限制，尤其是在人工智能方面相關(guān)因素的準備不足。例如，傳統(tǒng)托管設(shè)施中普遍存在的12-15kW功率限制等，都可能會成為建設(shè)AI集群數(shù)據(jù)中心理想物理密度的障礙。

AI集群數(shù)據(jù)中心

一般來說，在新建數(shù)據(jù)中心中部署背板式熱交換器和液冷方案，可以有效解決功率密度問題。但與采用傳統(tǒng)設(shè)計方案的已建設(shè)數(shù)據(jù)中心進行改造相比，從頭設(shè)計融入這些解決方案的新數(shù)據(jù)中心其實更合理。因為改造現(xiàn)有的數(shù)據(jù)中心會存在各種各樣不可預知的問題。比如，可能缺乏足夠的物理空間容納額外的2-3 MW發(fā)電機、不間斷電源（UPS）、開關(guān)設(shè)備或變壓器等，而且重新鋪設(shè)管道以適應(yīng)液冷所需的冷卻分配單元（CDU）等設(shè)備在某些情況下難度也會比較大。Meta也正是因為意識到這一點，所以暫停了原有的數(shù)據(jù)中心項目，轉(zhuǎn)而重新設(shè)計專為人工智能工作負載定制的新型數(shù)據(jù)中心。

以NVIDIA的DGX H100服務(wù)器為例，為了滿足高功率密度，其部署方式會受到數(shù)據(jù)中心的電力和制冷能力限制有所不同，單個機架內(nèi)可能僅能部署2到3臺DGX H100服務(wù)器，并將相鄰機架留空。

服務(wù)器部署方式

此外，隨著越來越多的數(shù)據(jù)中心開始支持人工智能工作負載，通過增加專用氣流設(shè)備，單個機架的功率密度有望達到30-40 kW，甚至更高，并且仍采用空氣冷卻的方式。未來采用液冷技術(shù)可以減少風扇的用電量，從而降低單機架的能耗約10%，并通過減少或消除對環(huán)境空氣冷卻的依賴，使電力使用效率（PUE）降低0.2-0.3。當然，這對大多數(shù)數(shù)據(jù)中心來說也是最后一波顯著的PUE優(yōu)化空間。

數(shù)據(jù)中心空氣冷卻方式

更值得關(guān)注的是，AI訓練和推理對數(shù)據(jù)中心的工作負載有著獨特的要求，這與現(xiàn)有數(shù)據(jù)中心中部署的典型硬件有很大不同。

AI訓練工作負載非常耗電，AI硬件的運行功率通常接近其熱設(shè)計功率(TDP)，每臺AI服務(wù)器現(xiàn)在都超過了10KW。再考慮到AI訓練對延遲不敏感，以及對靠近人口中心重要性的降低，這意味著與傳統(tǒng)工作負載相比，對于AI訓練來說，大量廉價電力的可用性（未來獲得任何電網(wǎng)供應(yīng)的可能性）對于工作負載而言具有更高的相對重要性。而對于AI推理來說，最終將會產(chǎn)生比訓練更大的工作負載，總體規(guī)模將是巨大的，但不同于訓練，推理可以是相當分布式的，芯片并不需要集中放置。

03 電力需求提升引發(fā)“新變”

AI訓練和推理的巨大需求正在成為數(shù)據(jù)中心規(guī)劃建設(shè)諸多變化的主要驅(qū)動力，使得電力供應(yīng)緊張加劇，更重要的是電力需求提升將正在導致電力或冷卻系統(tǒng)問題頻發(fā)，進而持續(xù)影響著整個產(chǎn)業(yè)格局。

AI訓練和推理

電力需求有多大？

一個包含20,840個Nvidia H100集群的數(shù)據(jù)中心需要約25.9MW的核心IT功率容量。而目前，整個數(shù)據(jù)中心行業(yè)正在建設(shè)容量更高的100,000個H100集群和千兆瓦級(Gigawatt)集群，數(shù)據(jù)中心基礎(chǔ)設(shè)施的供電能力需求還將繼續(xù)飆升。

數(shù)據(jù)中心基礎(chǔ)設(shè)施的供電能力需求

Source:SemiAnalysis Datacenter Model

數(shù)據(jù)中心的電力挑戰(zhàn)

以Nvidia為例，其GB200系列的高功率需求（每個機架超過130kW）與以往的數(shù)據(jù)中心設(shè)計截然不同，這也就導致當前新建數(shù)據(jù)中心（智算中心）在電力系統(tǒng)方面要格外重視。

未來，任何數(shù)據(jù)中心的電力或冷卻系統(tǒng)問題都可能導致運營中斷，進而帶來巨大的收入損失和聲譽損害。這對于云服務(wù)提供商（CSP，如Azure和AWS）以及托管服務(wù)提供商（如托管數(shù)據(jù)中心房地產(chǎn)）尤為重要。確保高正常運行時間（Uptime）是確保收入的關(guān)鍵，這很大程度上依賴于電力與冷卻系統(tǒng)的可靠性。盡管電氣故障相對更常見，但通常其影響范圍較小，而冷卻系統(tǒng)故障的破壞性往往更大。

從數(shù)據(jù)中心和電力流角度來看，現(xiàn)代數(shù)據(jù)中心正在通過模塊化方式構(gòu)建，一座數(shù)據(jù)中心通常被分解為多個機房(Data Halls,藍色矩形)，每棟數(shù)據(jù)中心建筑(約25萬平方英尺)的關(guān)鍵IT容量(Critical IT capacity)為48MW，每棟建筑分為五個機房，即每個機房9.6MW。

數(shù)據(jù)中心模塊化方式構(gòu)建

Source:Google Earth,SemiAnalysis

在一個機房內(nèi)有多個"Pod",每個Pod都有自己專用的一組電氣設(shè)備：發(fā)電機(Generator,橙色矩形)、變壓器(Transformer,綠色矩形)、不間斷電源(UPS)和開關(guān)設(shè)備(Switchgear)。在上圖中，可以看到每個機房有四個發(fā)電機和變壓器。還有四個Pod，這也意味著四個低壓配電板(Switchboards)和八個UPS系統(tǒng)（假設(shè)2N配電冗余)。

機房發(fā)電機

Source:Legrand

機房通常劃分為Pod以實現(xiàn)模塊化和標準化的設(shè)計，主要有以下兩個原因：

1.模塊化：設(shè)施可以根據(jù)負載需求逐步擴展，以實現(xiàn)快速適應(yīng)高負載的能力。

2.標準化：Pod的設(shè)計使其與標準化的電氣設(shè)備相匹配，這些設(shè)備在市場上更易于采購且成本較低，避免了訂制設(shè)備的高昂價格。

以Nvidia的下一代Blackwell數(shù)據(jù)中心設(shè)計為例，在新的架構(gòu)中，一個通道甚至一整排機架都將作為機房中的新“Pod”。

數(shù)據(jù)中心設(shè)計

而在電力傳輸架構(gòu)中，每個機架需要兩個(NVL36)或四個(NVL72)33kW電源架，考慮到空間和密度限制，不太可能使用機架內(nèi)BBU(Battery Backup Unit，電池備份單元)，這意味著中央UPS依然是必需的。

中央UPS

因此，電力需求的大幅增長將導致供應(yīng)商的供貨量顯著提升，這很可能進一步加劇供應(yīng)鏈緊張。

模塊化UPS

傳統(tǒng)UPS是數(shù)據(jù)中心用電效率"殺手"，導致數(shù)據(jù)中心PUE居高不下。而現(xiàn)代UPS系統(tǒng)大多采用模塊化設(shè)計：不再使用單一的大型設(shè)備，而是將其拆分為若干可堆疊、并聯(lián)工作的小型"電力模塊"。以Vertiv最新產(chǎn)品為例，單個電力模塊的容量為200kVA或400kVA，模塊化UPS產(chǎn)品可在單機柜內(nèi)集成多達10個電力模塊，多機柜并聯(lián)可進一步擴容，單系統(tǒng)最大容量可達27MW。此外，現(xiàn)代模塊化UPS采取了多項節(jié)能設(shè)計。比如Vertiv的產(chǎn)品支持"變頻節(jié)能模式"(VFD mode)，可繞過變流器，將效率提升至99%以上。但這種模式下切換時間可能延長數(shù)毫秒，存在瞬時斷電風險。

模塊化UPS

Source:Vertiv

此外，超大規(guī)模數(shù)據(jù)中心通常采用4N3R(四套可用設(shè)備對應(yīng)正常運行所需的三套)或N+2C(也稱為"Catcher")等方案，以提高UPS負載利用率(更高效)，并降低每兆瓦的資本支出(CapEx)。

在Catcher方案中，沒有配置兩個滿載能力的UPS系統(tǒng)(如下例中的2*3MW)，而是采用N+1設(shè)計，包含多個較小的UPS(3*1MW)和一個冗余單元。當出現(xiàn)故障時，我們使用靜態(tài)轉(zhuǎn)換開關(guān)(Static Transfer Switches，STS)將負載瞬間從一個UPS切換到另一個。STS比自動轉(zhuǎn)換開關(guān)(ATS)快得多，因為它們依靠電力電子元件而非機械部件。在4N3R方案中，我們使用四套獨立的配電系統(tǒng)，從配電一直到背板(即從電源線一直到發(fā)電機和變壓器)，其中僅需三套即可保證運行。

Catcher方案

Source:SOCOMEC

OCP機架與電池備份

值得關(guān)注的是，超大規(guī)模企業(yè)往往會突破常規(guī)，另辟蹊徑。比如Meta十年前推出的OCP(Open Compute Project)開放計算機架就是個典型案例。在傳統(tǒng)機架設(shè)計中，服務(wù)器通過配置在機柜內(nèi)的PDU獲得交流市電，再經(jīng)服務(wù)器內(nèi)置的整流器轉(zhuǎn)換為直流。而OCP的思路是：不如集中配置一個功能強大的電源架(Power Shelf)，直接輸出直流電，再通過bus bar統(tǒng)一配送到各服務(wù)器，從而省去每臺服務(wù)器配備AC/DC轉(zhuǎn)換器的重復投入。

此外，OCP電源架還可集成BBU，相當于一個"微型UPS"，可在市電斷供時持續(xù)輸出直流電幾分鐘，保障服務(wù)器安全關(guān)機。由于電源架位于機柜內(nèi)部，所以BBU的直流電可就近輸送給服務(wù)器，免去了傳統(tǒng)UPS系統(tǒng)中兩次AC/DC的轉(zhuǎn)換損耗。而機房由于不再需要集中的A、B雙路UPS，所需電池容量也減少了一半。為進一步降低布線損耗，Google在此基礎(chǔ)上提出了48V直流供電方案。

當然，在機柜內(nèi)大規(guī)模部署鋰電池，對防火、環(huán)控等配套設(shè)施提出了更高要求。傳統(tǒng)UPS電池多集中布置在獨立的電池室內(nèi)，易于統(tǒng)一管理，這一點OCP設(shè)計還難以企及。

傳統(tǒng)UPS電池布置

Source:Schneider Electric

柴油發(fā)電機的前景與變化

與此同時，隨著AI的快速發(fā)展超大規(guī)模數(shù)據(jù)中心正迅速擴展，并努力縮短數(shù)據(jù)中心的建設(shè)周期。柴油發(fā)電機也因此面臨挑戰(zhàn)，尤其是因其噪音和污染物排放而受到的許可限制。

柴油發(fā)電機

Source:SemiAnalysis

實時圖像分析顯示，Meta正考慮完全繞過發(fā)電機。而Microsoft的超大型數(shù)據(jù)中心將只使用部分發(fā)電機負載，X.AI在孟菲斯的項目也采用了電池儲能系統(tǒng)，發(fā)電機作為現(xiàn)場電源的備選，這種變革顯示出備用電源正在向更環(huán)保的電池儲能解決方案轉(zhuǎn)移。

電池儲能解決方案

當然，在當前的超大規(guī)模數(shù)據(jù)中心內(nèi)，發(fā)電機依然是不可或缺的選擇，在超大規(guī)模數(shù)據(jù)中心內(nèi)，備用發(fā)電機的單機容量一般為2~3MW，園區(qū)內(nèi)動輒部署數(shù)十臺發(fā)電機。當前，這些發(fā)電機通常以柴油為燃料，但未來天然氣可能會成為主要的替代選擇。它們的儲油量一般可滿足24~48小時的滿負荷應(yīng)急供電。盡管柴油發(fā)電的能效更高，但煙氣污染也更嚴重。因此，在環(huán)保要求嚴格的地區(qū)，柴油發(fā)電機往往配備有尾氣處理裝置，造價也更高。

最后，還有一個略微產(chǎn)生影響的變化因素是冗余度(Redundancy Level)的降低——超大規(guī)模運營商已經(jīng)開始這樣做。在大規(guī)模訓練過程中，由于GPU節(jié)點上的高故障率，訓練框架被迫發(fā)展出了強大的容錯機制，使得現(xiàn)代訓練系統(tǒng)具備了較好的抗故障能力(Robustness)，這使得數(shù)據(jù)中心端較低的冗余水平變得越來越可以接受。

總之，當前數(shù)據(jù)中心建設(shè)與AI技術(shù)的發(fā)展密不可分，尤其對于正處于火熱建設(shè)中的中國智算中心建設(shè)市場來說，快速的市場變化需要強有力的設(shè)計和運營合作伙伴，以應(yīng)對增長的功率密度需求和不斷變化的技術(shù)趨勢。供應(yīng)商之間的合作將推動更高效、更具擴展性的滿足AI的數(shù)據(jù)中心設(shè)計，并在競爭激烈的市場中取得領(lǐng)先地位。

參考資料及文章內(nèi)容來源：

1.Deploying The AI Factory

2.Datacenter Anatomy Part 1_ Electrical Systems

3.Al Datacenter Energy Dilemma

4.Generational growth Al,data centers and the coming US power demand surge

5.Powering Up Europe:AI datacenters and electrification to drive+c.40%-50%growth in electricity consumption etc.