国家数据中心绿色节能示范项目指标解读及关键技术分析
时间：2023-02-17 10:50:07 来源：柠檬阅读网 本文已影响 人 
吴 帅，张 飞，杨 猛，贺 晓，魏文豪（中讯邮电咨询设计院有限公司郑州分公司，河南郑州 450007）
2020 年12 月23 日，国家发改委以深化数据要素市场化配置改革为核心，提出全国一体化大数据中心顶层设计架构［1］。2021 年5 月24 日，发改委等4 部委明确京津冀、长三角、大湾区、成渝、蒙贵甘宁等八大国家枢纽节点，引导数据中心向集约化、规模化发展。在枢纽节点外新建项目，地方政府不给予土地、财税、能耗指标等方面的优惠政策［2］。
为了全国东数西算、一体化大数据中心协同创新，推动重点项目落地实施，发挥示范带动效应，2022年1 月5 日，国家发改委发文组织申报了东数西算协同创新体系示范工程。申报方向分为数据中心绿色节能示范、算力高效调度示范、算力自主可控示范3个方向，项目要位于已确定的国家枢纽集群节点起步区，单项目投资不得低于1亿，审核通过的项目可获得不超过15%的补贴，补贴不超过3亿［3］。
通过对国家数据中心绿色示范项目方向的指标进行解读和关键技术专题分析，给出满足七大指标的参考方案，对类似项目具有一定的借鉴意义。
1.1 指标要求
指标要求1：规模不低于1 000 架（单机架功率不低于6 kW），高密度不低于20 kW，机架设计总功率不小于8 000 kW，PUE 不超过1.15（目标值），WUE 不超过1.1，投产第3年起上架率不低于60%。
指标要求2：鼓励通过可再生能源自发自用、接入可再生能源微网直供、本地储能等方式，提升可再生能源使用占比。
指标要求3：建设完备、持续的PUE 度量系统，支持基于AI的PUE调优。
指标要求4：投产第1 年平均PUE 不大于1.25，第2年平均PUE不大于1.2，第3年不大于1.15。
指标要求5：实现成本、节能的综合目标最优，优化数据中心IT 设备免空调部署时间，服务器主设备支持高温机房，可在不低于35 ℃的工作环境中长期稳定运行。
指标要求6：数据中心机柜采用模块化设计，工厂预制安装服务器、交换机等设备，整机柜交付，减少现场交付工作量。
指标要求7：对提升行业内大型、超大型数据中心的节能水平具有可借鉴的示范作用。
1.2 指标分析
指标1 提到了建设规模、单机柜功耗、上架率、PUE 和WUE，建设规模和单机柜功耗可通过项目市场定位和建设规模调整解决，上架率可通过加强销售解决，WUE 指标要求不算高，因此指标1 的主要矛盾是PUE，PUE可作为专题进行分析。
指标2提到可再生能源综合利用。数据中心对电能品质要求较高，而园区自建风电或光伏规模小，发电量受环境风速和光照影响，发电不稳定，供电品质较差。绿色电力交易（绿电交易）以用户自愿购买意愿为驱动力，其活跃程度对发电企业新能源的利用有刺激调节作用［4］。因此建议小规模自建风电或光伏发电用于园区或机房建筑照明等，机房可预留空间局部按需做储能，根据项目周边情况落实绿电使用方案。
指标3 提到了PUE 度量和AI 调优，PUE 度量相对容易，AI调优相对复杂。AI智能运维主要用来减轻运维负担，让普通运维工程师也能够比较快地胜任高水平运维工程师的工作。AI 智能调优具有如下特点：节能性比较好，节能效果为5%～10%；
基于DNN 神经网络的AI算法调节对维护人员的要求低；
对环境反应及时；
推理过程融入运维规范，推理结果满足服务等级协议要求（SLA）。目前华为、腾讯、中兴、维谛、英沣特以及各大运营商都在做AI调优，可结合项目情况进行合作。
指标4 同样对PUE 指标提出了要求，将PUE 进行专题分析。
指标5 中机房温度过高时，容易影响IT 设备高效运行，机房温度过低则空调系统不节能，因此合理的机房温度设置非常重要，这将作为专题进行分析。
指标6 主要提到模块化设计和整机柜交付，模块化设计和整机柜交付能够有效缩短建设工期，提高建设质量，可作为专题进行分析。
指标7 提到了节能水平具备可借鉴的示范作用，数据中心节能水平一般用PUE 进行衡量，将PUE 进行专题分析。
经过以上分析，对于指标1、指标4 和指标7 需要进行PUE 不超过1.15 的技术分析，对于指标5 需要进行高温机房的技术分析，对于指标6 需要进行模块化设计和整机柜交付的技术分析。
2.1 PUE不超过1.15技术方案
2.1.1 PUE组成及现状分析
PUE=1+制冷负载因子（CLF）+供电负载因子（PLF）+其他因子。在PUE 的组成中，制冷负载因子占比较大且受气候、制冷方案、设备性能、运维精细度等因素的影响，浮动范围较大；
供电负载因子占比较小，浮动范围也较小；
其他因子主要包括通风、照明、插座等，占比最小且比较固定。
依据2020年《中国数据中心冷却技术年度发展研究报告》，2019 年PUE＜1.5 的约占12.9%，1.5＜PUE＜1.8的约占39.1%，1.8＜PUE＜2.0 的约占46%，PUE＞2 的约占2%。
PUE 无论是实现1.25还是1.2亦或者是1.15，均具有不小的挑战，需要立足数据中心全生命周期、全专业人员，协同创优完成极致PUE目标。
2.1.2 空调解决方案
空调系统影响制冷负载因子（CLF），数据中心主要空调系统分类如图1所示。
图1 数据中心空调系统分类
对于非液冷机房，国内数据中心不断创新绿色节能新应用，多个数据中心获得绿色网格（TGC）与开放数据中心委员会联合认证的5A级绿色数据中心，最优水平约为1.2。该数据中心多为互联网企业或者第三方拥有，该类企业具有如下优势：机柜负载率比较高，多数在70%以上；
运维水平相对比较高，反应快，敢于尝试不同的运行方案；
互联网用户为了追求极致PUE，敢于尝试新技术，承担机房环境和供电可靠性降低的风险等。通过整理的相关案例，非液冷数据中心PUE参考值如表1所示。
表1 非液冷数据中心PUE参考值
对于液冷机房，液冷技术能够针对服务器发热精准冷却，通过提高冷却媒介的温度，实现数据中心全球全天候自然散热（与气候关系不大）。数据中心PUE较低，液冷数据中心实测PUE参考值如表2所示。
表2 液冷数据中心PUE参考值
对于空调，由于风冷服务器相对成熟、经济性好，建议优先采用空调水系统、空调风系统、空调氟系统等技术相对成熟、投资经济的节能产品，其次采用液冷等能效更高的创新性产品。液冷等技术成熟度及投资经济性欠佳，应尽可能降低液冷机房占比。
2.1.3 电源解决方案
对于电源，可通过供电架构优化节能：采用一体式电源方案，实现变配电、通信电源、线缆及能源监控系统的有机统一，实现全功率链管理、自动报表系统、选择性保护、关键点温度测量、电源故障录波等多种功能。UPS系统采用2N 架构，主机采用高频模块化机型，UPS 工作在ECO 模式下，采取均流措施后，50%负载率下UPS设备转换效率约为98.5%。采用一级能效变压器，动态功率因数补偿。
因此，建议通过一体化电源+UPS 休眠模式+一级能效变压器等措施，保证电源系统节能运行。
2.1.4 其他影响因素分析
PUE 无论是实现1.25 还是1.2 亦或者是1.15 均具有不小的挑战。尤其是实现PUE 达到1.15 的极致目标，需要立足数据中心全生命周期、全专业人员，从规划、设计、建设、运维、优化等方面做好全流程的绿色节能工作，通过“好设计+好产品+好运维+高负载”协同创优，职能渗透、互助共进。当设计不合理（方案节能性不足）、产品性能不满足、负载率较低或者运维比较差（切换不及时，过于牺牲节能保障安全等）时，存在无法实现PUE目标值的风险。
2.2 高温机房技术方案
2.2.1 8 kW高温机房技术方案
根据《数据中心设计规范》（GB50174−2017）A 级标准规定，机柜进风不超过27 ℃，停机时为5 ℃～45 ℃。美国ASHRAE推荐温度范围为：干球温度18 ℃～27 ℃；
允许第1档的干球温度是15 ℃～32 ℃；
允许第2档的干球温度是10 ℃～35 ℃；
允许第3 档的干球温度是5 ℃～40 ℃；
允许第4 档的干球温度是5 ℃～45 ℃。查看多数刀片服务器说明书，多数工作温度为5 ℃～40 ℃，即ASHRAE允许第3档标准。
在推荐的温度范围内服务器+机电整体耗电最优，在允许的环境中虽然机电耗电量降低了，但服务器的耗电量增加，整体未必最优。如果项目是以出租为主，建议按照以国标A 级机柜进风区域不超过27 ℃进行设计。后期可根据客户需求、服务器接受能力和PUE运行情况酌情调整。
2.2.2 20 kW高温机房技术方案
20 kW 机房采用液冷空调系统，目前没有国标对其进行规定，行业标准《液气双通道散热数据中心机房设计规范》（T/CIE 051−2018）建议机柜进风温度为18 ℃～30 ℃。经过跟相关厂家沟通，机柜进风区域可以支持35 ℃进风。因此，建议按照行业标准，以机柜进风区域不超过30 ℃来设计，后期可根据客户需求、服务器和PUE运行情况酌情调整。
2.3 模块化设计及整机柜交付技术方案
2.3.1 模块化设计
模块化设计思路：标准化机柜→模块化封闭通道→模块化机房→模块化电力空调机房组合→组合成数据中心建筑。数据中心模块化设计平面如图2 所示。
图2 数据中心模块化设计平面
模块A 机房只有单侧空调管道间，一般适用于中低功率密度的机房，因此在2015年以前建设的数据中心使用较多；
模块B机房有双侧空调管道间，且满足电力用房物理隔离，因此适用于高中功率密度的机房，在最近国内建设的数据中心使用较多；
模块C 机房有双侧空调管道间，且电力模块分割更细，因此适用于高中功率密度且对电力用房有特殊要求或习惯的数据中心，该方案仅在香港见到过，使用较少。因此建议采用模块B进行拼接的方案。
2.3.2 整机柜交付
机柜交付一般常见为空机柜交付+后期服务器系统部署，存在的问题包括交付过程周期长、集成复杂、现场协调工作量大。整机柜交付特点是服务器机柜采用一体化、模块化设计，提高运行效率，预制安装，现场快速部署、简化运维。
为适应当前数据中心集中化和规模化发展趋势，突破机柜传统建设交付模式，针对常规自用机房及高密度机房采用快速部署、智能运维、灵活扩展的整机柜交付，减少现场安装工作量，使交付过程更加高效，数据中心整机柜交付平面图如图3所示。
图3 数据中心整机柜交付平面图
以东数西算某项目为例，通过以下解决方案满足国家绿色示范指标要求。
指标1：拟建设不小于1 000 个机柜，初步方案为建设785 架8 kW 机柜和315 架平均功率不低于20 kW的高密度机柜，总机架数为1 100 机柜；
IT 功耗约为12 020 kW，2 主2 备，共4 路市电；
PUE 和WUE 均按要求设计；
适时启动预销售（部分机房自用），确保上架率不低于60%。
指标2：暂考虑小规模自建风电或光伏发电用于园区或机房建筑照明等，机房可预留空间局部按需做储能。根据后续资源落实情况确定可再生能源微网直供或绿电使用方案。
指标3：第一，采用数据中心基础设施管理系统，对机房环境和设备能耗等进行实时监测分析和智能化调控，监测数据包括环境数据、电力数据、冷却数据等，可实现PUE 的完备持续度量。第二，采用AI 节能控制方案，首先采集室外天气、负荷等参数，然后通过深度学习神经网络等AI模型进行预测给出运行策略，最后全自动控制或者根据AI策略进行人工实施。
指标4：通过好设计（液冷+蒸发冷却空调）+好产品（高效节能产品）+好运维（AI 辅助运维调优）+好负载（提高负载率），实现综合PUE≤1.15。采用分阶段建设与平滑演进，实现年度PUE 考核目标，第1 年、第2年重点建设常规机柜，第3 年按一定比例建设液冷机柜。
指标5：空调系统采用常规空调+液冷，充分利用自然冷源；
常规机房暂按国A 27 ℃设计，局部1～2个机房自用，按35 ℃设计；
液冷暂按行业标准30 ℃设计，当液冷机房自建云池时可按35 ℃设计。
指标6：按模块化设计。高功率液冷机柜及常规自用机房采取整机柜交付模式，其余机柜按照传统交付方式进行建设。
指标7：第一，先进的绿色节能水平，PUE≤1.15，WUE≤1.1。第二，先进的理念、技术及产品，如模块化设计，采用液冷技术及高效节能产品等前沿先进技术；
土建采用装配式，减少现场工作量；
局部试点利用可再生能源，为其他项目积累经验提供示范。
通过对国家数据中心绿色示范项目指标解读和关键技术专题分析，给出满足七大指标的参考方案。主要结论总结如下。
a）参与国家数据中心绿色示范项目申报，不仅能够扩大公司影响力，提高建设运维能力，还能够获得政府补贴，有条件满足要求的建议积极申报。
b）申报国家数据中心绿色示范项目一共七大指标，从PUE（节能）、WUE（节水）、建设规模、单机柜功耗、上架率、高温机房、PUE 度量、AI 调优、高温机房、模块化设计、整机柜交付、可再生能源利用、AI 智能运维、示范价值等角度对数据中心提出了现阶段极高的要求标准。申报方需从全专业、全生命周期做好管理，协同创优，才可能满足各项指标要求。
c）七大指标多次提到PUE，可考虑通过好设计（液冷+蒸发冷却空调）+好产品（高效节能产品）+好运维（AI 辅助运维调优）+好负载（提高负载率），实现综合PUE≤1.15。
d）七大指标部分要求突破现有标准或者常规做法，如高温机房、整机柜交付等，可考虑在自用部分试用，后期根据客户要求、PUE情况等进行调整。
猜你喜欢 液冷机柜机房 平疫结合的CT机房建设实践现代仪器与医疗(2022年4期)2022-10-08制动器液冷控制系统模糊控制策略汽车实用技术(2022年15期)2022-08-19航天服的液冷服有什么用？军事文摘·科学少年(2021年7期)2021-09-26航天服的液冷服有什么用？军事文摘(2021年14期)2021-08-16一种计算机联锁机柜工程图纸的自动化生成方法铁道通信信号(2020年9期)2020-02-06BIM技术在铁路信号室内机柜布置中的应用研究铁道通信信号(2019年4期)2019-10-10基于VPN的机房局域网远程控制系统电子制作(2019年16期)2019-09-27浅谈一体化机房系统中国交通信息化(2018年1期)2018-06-06一种机柜装舱通用工装的设计航天制造技术(2017年3期)2017-07-06浅谈高速公路一体化机房中国交通信息化(2017年12期)2017-06-06
