数据中心投资强度与结构
根据Dgtl Infra统计,北美数据中心可以大致分为小、中、大三类,IT负载容量分别为1- 5MW、5-20MW和20MW以上。由于不同类型的数据中心在电力设备冗余度、冷却方式、用途、功率密度等方面存在较大差异,因此投资强度和Capex结构差异较大。
根据Dgtl Infra、Semi Analysis数据,北美新建数据中心总开发成本通常为70-120亿美元/GW(IT负载口径),其中IT设备占比40%-60%,非IT设备(包括发供电、配电、冷却、照明、消防等)占比20%-40%,工程土建占比15%-20%。
非IT设备中,柴油发电机(20%-30%)、冷却与空调(18%-25%)、变配电(15%- 25%)、UPS/HVDC(15%-20%)是主要成本来源。
数据中心供电设备冗余方式
数据中心往往对于供电可靠性具有较高的要求,因此配套供配电系统往往采用冗余设计,典型冗余方案包括2N、DR和RR。
2N系统由两套供配电单元组成,同时运行,互为备用,供配电单元负荷率为50%。2N供电系统是目前最常用的冗余方式,具有突出的供电可靠性,但负载率低、成本较高。DR即分布式冗余系统,由多个(一般为3个)配置相同的供配电单元组成,多个单元同时工作,通过ATS(自动切换开关)实现10kV输入的路径切换,供配电单元负荷率为66%。RR即后备冗余系统,由多个(一般为4个)配置相同的供配电单元组成,多个单元同时工作,通过ATS和STS(静态切换开关)实现IT负载的供电路径切换,供配电单元负荷率为75%。
2N系统负荷率低且成本较高,但控制简单,不涉及大量开关的切换;DR和RR系统负荷率较高成本较低,但需要对ATS和STS进行统一控制,对控制系统和运维管理水平要求较高。
除上述方式外,近年来国内1路市电+1路UPS/HVDC方式得到广泛应用,其中正常情况下市电承担全部负载,当市电断电时UPS/HVDC承担全部负载,与前述方式相比,此方式下系统效率更高。
PUE要求持续提升,供电能效存在优化空间
PUE,即Power Usage Effectiveness,电能使用效率,它表示数据中心消耗的所有能源与IT负载使用的能源之比,反映了数据中心在提供IT服务时的能源利用效率。数据中心的能耗主要由两部分构成:IT设备能耗和非IT设备能耗,以PUE为1.5的数据中心为例,其IT设备耗能约占67%,制冷系统约占27%,供配电系统约占5%,照明及其它约占1%。
根据Uptime Institute,2023年全球数据中心平均PUE为1.58。根据中国信通院,2023年我国数据中心平均PUE为1.48,与2022年的1.54相比进一步改善。其中,东北、华北等北部地区充分利用自然风冷等自然优势,平均PUE分别为1.40与1.39、远低于华南、华中等南部地区平均PUE1.53与1.54。
随着智算数据中心能耗的持续提升,AIDC节约用能成为大势所趋。美国发布《数据中心优化倡议(DCOI)》,要求既有数据中心的PUE达到1.5,新建数据中心为1.4。德国出台《能源效率法案》,要求2026年7月或之后开放的数据中心PUE达到为1.2。我国提出《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》、《工业能效提升行动计划》,计划2025年新建数据中心PUE小于1.3。
技术方面,制冷系统作为非IT能耗的主要来源受到产业界的重点关注,其中液冷技术的应用有望成为优化PUE的重要方式。供电系统作为虽然能耗占比较低,但通过优化(例如使用节能型变压器和高效UPS),仍可有效改善数据中心PUE水平。此外,智能化运维、提升管理水平有望助推数据中心迈向精准节能。
AI服务器中芯片功耗占比较通用服务器大幅提升
目前服务器常以8卡形式出现,以英伟达DGX H100服务器为例,服务器整体功耗约10.1kW,其中算力核心GPU功耗约为5.6kW,占服务器整体功耗约为55%;安装4台DGXH100服务器的风冷机柜总功耗约为42kW。以英伟达最新的GB200 NVL72机柜为例,包括18个Compute tray和9个NVSwitch tray,根据SemiAnalysis测算,实际总功耗约为124kW,其中算力核心GB200超级芯片功耗约为97kW,占服务器整体功耗约为78%。可见,AI服务器具备“CPU+GPU”等异构结构,芯片功耗较通用服务器芯片大幅提升,带动芯片功耗在服务器整体功耗的占比进一步提升。
根据维谛,一个英伟达B系列超级计算集群可由8台NVL72 GB200机架组成,合计功率为8×132=1056kW,此外需要配套10台网络与存储机架,合计功率10×12=120kW。因此,参考维谛的设计方案,计算服务器功率占AI数据中心IT负载的90%。
综上,我们估计AI计算芯片功耗占未来AIDC整体IT功耗占比约为60%-75%。
数据中心供电系统介绍
数据中心供电系统可以分为4个层级:一级是变压器(一般采用移相整流变压器),将10kV交流市电转化为380V交流电。二级的方案包括UPS和HVDC两大类,前者需要经过AC/DC、DC/AC两级及以上变换,输出220V交流;后者通常采用AC/DC一级变换,输出240V直流。三级是服务器电源,将220V交流或240V直流转化为12V或48V直流,此前输出以12V直流为主,近两年随着GPU功率持续提升,为提高效率部分采用48V输出方案。四级是板卡电源,传统方式下将12V之前转为1V交流供GPU使用,随着48V方案的出现,板卡可能采用48-12V、12-1V两级变换方式。同时,工程界正在推动48V直接降至1V的解决方案开发。
二级方案包括UPS和HVDC两大类,传统数据中心均采用UPS方案,HVDC方案在近几年兴起,具有效率高、结构简单的优点,目前在二级电源的渗透率约为15%-20%。国内方面,阿里力推HVDC方案;海外方面,目前应用较少,但台达和维谛正在海外大力推广。2019年,阿里巴巴联合中恒电气、台达发布巴拿马电源,将一级电源和二级HVDC高度集成,大幅缩小占地面积,提升系统效率。目前,英伟达GPU机柜仍采用交流输入方案。
数据中心可靠性要求极高,电力设备一般采用冗余设计,且2N方案为主,即供配电设备功率是IT负载最大功率的2倍。
数据中心配套电力设备容量与芯片功耗的关系
一般而言,数据中心供配电设备功率是IT负载的3-5倍。
由于服务器内部配电系统、信号传输等负载,其他存储及网络设备的存在,数据中心IT负载一般是GPU/芯片功率的1.4-1.5x。
除IT负载外,数据中心还包括制冷、供电、照明、消防设备等负载,大致是IT负载的1.2-1.3x。
UPS一般运行在60%-70%负载以保证最佳效率,变压器、开关柜等设备功率与UPS功率匹配。
数据中心供配电系统一般配置“2N”冗余方案,近年来“市电+UPS/HVDC”或DR、RR使用有所增加。
更多行业研究分析请参考思瀚产业研究院官网,同时思瀚产业研究院亦提供行研报告、可研报告(立项审批备案、银行贷款、投资决策、集团上会)、产业规划、园区规划、商业计划书(股权融资、招商合资、内部决策)、专项调研、建筑设计、境外投资报告等相关咨询服务方案。