关于微模块机房的适用性,你了解很多吗?
前言大家好,我是林总,微模块机房
作为数据中心的创新明星产品,在大型IDC数据中心和中小型EDC机房中都有广泛的应用,但业界对微模块机房在各种机房环境中的适用性和重点缺乏系统的分析和总结。本文通过分析微模块机房在不同技术条件、不同规模、不同行业特点下应用的优缺点和匹配,希望为广大机房行业用户和从业者提供有益的参考。
身体
一 引言
近年来,随着数字经济的火热,作为大数据系统大脑的数据中心越来越多,为了满足日益迫切的建设需求,数据中心建设越来越多地采用模块化和预制技术,微模块机房作为该技术的典型产品化,在各类数据中心中的应用越来越普遍。
模块化机房有多种形式,并且
目前市场上大多数以机柜、冷通道封闭和行间空调为核心的IT模块化机房,也有仓库式、集装箱式模块机房、电源模块、液压模块、制冷模块等多种形式的模块化机房解决方案。但最常见的是IT型模块机房,本文主要以此为研究对象。
这种类型的模块机房是2009年从欧美引进到中国的,之后只在少数人中使用,几年内没有大规模推广。然而,从2016年开始,模块机房开始在国内如火如荼地推广,各厂商竞相成为模块机房。2019年后,模块机房的概念在全国范围内被广泛接受。然而,在作为发源地的欧美,模块房依然不温不火。以机柜
、冷通道、行间空调和集成UPS为核心的通用IT型模块机房,最初是为高密度机房制冷设计的产品解决方案,主要适用于高密度(5-20kW/柜)IDC机房,部分军事科研机房也适用。普通数据中心项目只需要使用高密度区域,因为功率密度普遍较低。对于普通的中密度(3-5kW/机柜)机房,如果使用得当,可以起到一定的节能效果。
2.微模块机房的优势
1、微模块机房适用于高密度机房,节能优势明显传统机房
采用无通道封闭的机房级精密空调方案,主要适用于单机柜功率3-5kW的中密度机房和单机柜机房
大于4kW的发热应采用冷热通道封闭,适用于单机柜功率5kW以上的中高密度机房,适用于行间空调或其他冷却方式。采用冷热通道封闭是适用于大多数机房的节能措施。行间空调、冷道封闭方案比传统空调无通道封闭式地板送风节能20%~30%。
根据工信部联杰〔2019〕24号《关于加强绿色数据中心建设的指导意见》要求,到2022年新建大型、超大型数据中心PUE将达到1.4以下。两年后,出台了更严格的政策,发改委发〔2021〕1464号《国家发改委等部门关于严格能效约束促进重点领域节能减碳的若干意见》(7)加强数据中心绿色高质量发展,新建大型、超大型数据中心用电效率不超过1.3。到2025年,数据中心的用电效率一般不超过1.5。2022年2月17日,“东数据西算”项目启动,规划全国数据中心集群10个,算力轮到节点8个,其中6个集群PUE要求小于1.25,4个集群PUE小于1.2。这些都对机房节能提出了更加严格的要求,也为微模块机房的推广带来了更大的市场机遇。
2.微模块机房有助于节省机房空间
如前所述,微模块机房适用于机房的高密度设计,因此容纳相同IT设备所需的机柜数量将比传统机房少,机房的占地面积将相应减少。目前一流的微模块机房厂家还可以提供智能小母线产品和集成UPS产品,进一步节省机房空间。智能小母线产品可替代精密配电柱头柜,提高相同机房面积下的机柜放电率,适用于租赁机房或空间不足的机房,如图1所示。集成式UPS将机房市电配电柜、UPS主机、UPS输出柜、精密配电柱头柜合二为一,如图2所示,在小机房可以减少配电柜数量,有效节省配电机房空间,还可以减少损耗,提高配电系统效率,节省空调容量。
3.微模块房,方便采购和售后服务
其中之一机房工程
的典型特点是麻雀虽小齐全,但20m2机房和机房所需的设备类型相似,需要几十、几百种设备和材料,导致工程采购和售后服务相当麻烦。微模块机房的机柜、PDU、通道闭合组件、精密空调、UPS、电池、配电柜、动圈、安防监控等均可由同一厂家提供,个别厂商也可提供一体化布线和KVM。再加上装修、消防、数据通讯设备、软件等,已经可以满足小型机房的建设,确实可以大大简化一般低端机房用户的采购和售后服务。但对于高端大型机房来说,这种方法是不够的。
4. 数据中心采用标准模块复制,简化设计和施工在
数据中心使用多个标准化模块复制可以简化设计和施工,做单个标准模块再用模块分解整个机房,单个模块可以由设备制造商预制,因为模块标准接口统一现场施工更容易保证工艺质量。
模块复制和机房扩容
是两个不同的概念,机房扩容受整体建筑空间、前端电力容量和配电接口、冷源和管线接口等因素的影响,前期一定要规划预留,以后扩容,否则没办法谈。同样的预留方式,采用传统的送风或低送风房方案仍然可以实现,而且各有优缺点,传统的机房预留设备粒度需要更大,但微模块方案要求项目粒度更大,比如需要预留复杂的空调水管和制冷剂管道, 等,有时还需要预留电池电缆管道。
目前市场上有可扩展性好的互联网微模块,高压直流电源、电池、CDU和行间空调都放在模块内部,增加模块数量对数据中心的空间布局没有影响,只要变压器和配电柜有足够的剩余容量和开关, 您可以不断复制模块进行扩展。但是,这种将电池放置在模块中的方案具有较大的火灾风险,许多有经验的用户和EPC不接受。如果将AC/DC不间断电源和电池移到微模块之外,机柜数量和容量将与传统机房一样与UPS动力电池的占地面积相结合,扩展的自由度将大大降低。而且,用这种方式制造的微模块成本也很高,导致数据中心的整体成本增加,即使是行业巨头也不得不通过简化机房的装修来抵消一些微模块成本。因此,在大规模数据中心对微模块进行定制和复制,实际上技术门槛高,成本投入高,实现起来并不容易。
5、微模块机房具有更高的美感微模块机房会按照冷/热通道进行
封闭,相比传统机房机柜只按照通道批量,整体外观更加简洁利落,加上机柜和通道闭合由同一厂家提供,外观更加一致,主流厂商在冷/热通道外部造型上刻意美化, 门楣装饰、灯光效果等,使模块机房的美观度明显更高,如图3所示。这对于要求访问的客户很有价值。
6、微模块机房,方便分区管理
对于多个用户在同一数据中心部署设备的场景,需要对数据中心进行分区管理。这主要发生在租用机房,一些大单位的多个部门共用机房的时候。微模块机房由于自身的通道封闭,可以很好地匹配这样的需求,可以将不同的模块分配给不同的用户进行分区管理。当然,这种方法也有局限性,在一些小型机房中只有一两个微模块,但有四五个用户,运维方还需要监控每个机柜正在操作的情况,难度大,需要非标定制才能解决,成本也很高。
三、微模块机房的缺点
1. 火灾风险增加
为解决高密度制冷问题,微模块机房采用封闭式冷/热通道设计,灭火时必须先打开灭火气体,让灭火气体进入冷/热通道,如果天窗意外打不开,大火就不能及时扑灭;即使顺利开启,灭火气体的速度也不如传统机房封闭无通道快,火势容易在同一个冷道蔓延,消防检查不如传统机房方便,有单独的IDC机房甚至铅酸蓄电池也安装在冷通道柜中, 这样火灾风险就更大了,电池本身老化有一定的漏电短路故障风险,国家每年都要爆发几起电池起火烧机房事故,所以微模块内置电池必须配备电芯监控系统,并且在接近设计寿命时会及时更换电池。电池本身也会释放出少量的氢气和硫化氢气体,虽然可以通过空调供应排到机柜外冷通道,风险不大,但总是对IT和电气设备有害。近一两年,锂电池开始普及,少数锂电池进入微模块冷通道方案开始出现,锂电池火灾风险高于铅酸电池,灭火难度较大,使用经验较为不成熟。因此,笔者的建议是,大规模、长寿命的数据中心不建议将电池放入冷通道,尤其是锂电池。在大中型机房使用分布式UPS和蓄电池也会增加建设和运维的成本和难度,因此在大型数据中心使用集中式UPS和蓄电池是配电机房电池房最安全、最可靠、最经济的选择,也方便日后的运维管理, 这也是目前的普遍共识和实践;对于中小型数据中心,UPS可以放置在微模块内部,但电池放置在通道外;对于建筑空间有限的微型双排或单排微型模块机房,可以考虑将UPS和电池放入冷通道,但这应该基于机房运维人员的专业性和责任心是否足够强,如果机房人员素质达不到或不承担风险。
因此,从整体上看,使用微模块机房增加了火灾风险,特别是对于大型数据中心机房。为此,也有设计院设计气体灭火喷嘴到微模块天窗接入冷通道,但目前大多数微模块厂家缺乏可以连接灭气喷嘴的天窗组件,实际采购和施工难度很大。此外,还有仓库式微模块机房将消防气瓶放在冷道,但消防气瓶属于高压容器,气瓶老化后也存在风险,维护和更换也不方便。
2、机房设备成本增加,设备质量参差不齐
在相同的品牌和功能配置下,微模块机房的使用使机房设备成本大幅增加。根据笔者多年来的实际项目经验,在小型机房项目中,使用微模块机房的整体成本比传统机房高出20-50%,当然,近年来成本下降明显。但具有讽刺意味的是,换来的高价微模块机房质量参差不齐,设备一致性差,售后服务困难。一方面是因为微模块机房门槛不高,行业鱼龙混杂;另一方面,微模块机房内部设备种类繁多,即使是顶级厂商也需要购买一些OEM产品。笔者的观点是:为保证机房安全可靠和优良品质,微模块机房配电、UPS、空调等核心产品应选为行业一流产品。
3. 非IDC项目可能会使项目复杂化,降低灵活性,延长工期
在大多数非IDC机房项目中,客户对IT设备配置的控制力较差,大多数机房建筑不是专门建造的,施工要求无法标准化,大多数业主不愿意为了美观而简化装修。如果是大型机房项目,虽然容易实现多模块复制,大规模定制和工程安装相对容易,但由于设备成本相对较高,如果不是高密度机房,采用微模块解决方案会比较鸡。如果是中小型机房项目,微模块数量少,微模块标准复制的优势不明显,项目总承包的专业性比较低,绝大多数小工程总承包不会安装微模块机房,每个微模块机房产品的安装调试也有一定的差异, 而现有的模块机房厂家不提供标准的全套安装服务,加上微模块机房必须进行非标定制和二次采购组装,微模块和外部系统的接口和安装尺寸,装修工程也相当复杂,这反过来可能使工程更加复杂,延长工期。
4.对低端低密度或不均匀的IT设备机架和超高功率密度项目的适用性差
微模块机房本身适用于高密度机房,并且
如果反过来遇到低密度机房,很容易过度配置基础设施,特别是空调过冷和冷凝,建设成本太高,低端客户难以接受。笔者曾经遇到过一个高校机房项目,一共17个机柜,实测单机柜功率密度不到1kW,功能要求很简单,各种技术要求不高,整个机房的总预算(不仅是设备,而是所有项目)只有85万元,此时强制微模块机房就不行了。也有一些机房项目在同一微模块内每个机柜IT设备机架不均匀,同一冷通道的一端有高温,另一端过冷,虽然一般不会带来致命的影响,但经常触发微模块温湿度报警,给运维人员带来麻烦。但微模块中空调的位置和数量是一次性固定的,制冷不能随着IT设备上架的情况灵活调整,最多只能使用空调群控补偿,效果有限。如果通过工程改造来解决,那就太麻烦了,成本也高。此外,对于单机柜高达20-80kW的超高功率密度应用场景(通常是超算数据中心),使用行间空调的普通微模块机房也不适用。
5、对装修和旧工程的适用性差
建初期建筑条件较差的老机房很多,建筑承重和层高不高。并购买了很多老式的非标机柜,大小、高度各异,甚至还有许多不规则尺寸的小型电脑、收纳机。多年后机房现代化改造后,客户要想使用模块机房,会遇到各种困难。
例如,模块室的
双排机柜因为翻转天窗对机房高度有一定的要求,很多老式写字楼的净空楼层高度只有2.4m~2.6m,而通用模块机房的推荐净空高度为3m(-2017设计规范还要求机房净高不小于3m), 至少2.8m,否则无法满足天窗的翻转高度和屋顶照明灯具的安装。模块房的宽度一般为3.4或3.6m,加上两侧的通道,房间的宽度要求至少为5.4m,许多旧的办公楼无法到达。此时可能需要非标定制的单排机柜+冷通道封闭的模块机房,以适应狭长机房空间。如图 4 所示:
例如,模块室一般采用600mm或800mm宽度,或深度,或高度的标准机柜,
但很多老机房都购买了宽600*深800、宽600*深1000、高1400/的非标机柜,不能直接纳入冷通道机柜。尺寸不规则的小型计算机和存储机更是尴尬,往往承担重要的业务和存储内容,并且不容易更换,但它们的宽度和深度往往不是整数(如608mm,710mm),并排放置的普通机柜无法对齐,无法合并机柜。因此,对于旧式机房工程的改造和设备利用率,大多数厂家的标准模块机房往往不适用。
我们的解决方案在于非标定制可与机柜分离的冷通道封闭组件,以及使用非标准尺寸机柜定制结构完成部件。例如,在成都微模块机房项目中,采用了该方案,以及三种不同尺寸的设备,包括宽度为608/710的非标机柜×深度为1000×高度为2150(mm)和宽度为600×深度为1200×高度为2000(mm)的标准机柜和行间空调, 集成到同一个通道闭合中。并以全封闭的冷热通道+空调智能控制技术,成功解决了单柜30kW超高功率密度制冷问题。如图 5 所示。
6.沟通学习成本高
微模块机房本身就是多种产品集成的结果,
虽然麻雀体积小,功能齐全,但市场上没有厂家可以生产出所有的子系统产品,大量的代工集成导致每个子系统产品的技术规格,即使是微模块厂家的技术人员也需要花费大量的时间和经验来熟悉每个子系统产品的规格和用途, 特别是对于细节非自产设备的信息沟通会更加困难。对于机房用户和施工总承包商来说,原来传统机房直接与各子系统设备厂家对接即可,通信更加分散,但更直接地向底层沟通,微模块机房的使用后厂商对接厂家大大减少,但微模块机房更像是一个“黑匣子”, 里面包含的细节要学习和掌握会更长。
四对不同尺寸的微模块机房
边缘计算应用的和分析微机房
(这里指10个机柜以下的机房)因为机柜小,面积也小,一般采用单机柜或单机柜模块机房即可,可以体现机柜是机房的概念,降低机房的装修要求,安装也很简单,可以简化机房的
设计和施工,可以体现微模块机房的优越性。现在所有主流设备制造商都有自己相对成熟的产品,可以通过代理商直接销售和安装,便于批量推广。缺点是许多设备制造商需要提高产品配置的灵活性、兼容性和经济性,尤其是在配电和监控产品方面。
1. 微模块机房在中小型机房中的应用分析
中小型机房(这里指10-100个机柜机房)因为机柜数量不算太多,面积也小,如果使用微模块机房,冷/热通道的数量通常不超过4个,而且机房建筑往往不规则,模块布局容易受到限制, 往往存在模块尺寸不同、单排和双排柜混、建筑柱插入模块、建筑高度不足等,很难发挥标准模块复制的优势。而且,小机房的IT设备配置相对简单随意,标准化差,使得微模块机房难以标准化和匹配,因此考验着厂家的定制能力。对于大多数采用传统方式设计的项目,为了提高美观性,简化采购和售后服务,微模块机房需要针对各种常见和不同的环境定制配套的产品解决方案,然后汇总成几个典型的解决方案包进行推广,并且必须由施工方或制造商支持,在微模块机房有丰富的安装经验才能实现。因此,中小型机房的微模块解决方案比大机房的微模块更有价值。
二、微模块机房在大中型机房中的应用分析
大中型机房项目(这里指100多个机柜)因为机柜数量多,机房面积大,所以一般需要设计多个机柜冷/热通道(一般在4个以上),此时微模块机房容易发挥多标准模块复制的优点, 如果设计和配置得当,一些项目还可以优化施工流程,降低施工和运营成本。但由于建筑条件、IT配置方式、逐步扩容、系统设备回收、运维管理划分、用户习惯、项目成本管理等种种原因,全微模块化数据中心在实际项目中的大规模使用仍然有限,采用外接送风空调+传统机柜+冷道封闭式半模块化方案更为普遍。
例如,许多IDC数据中心使用大量冷冻水式行间空调微模块,消除了传统的架空地板,简化了装饰。冷冻水分配单元设置在微模块中,然后通过冷冻水支管分配到各行间空调,大量水管进入微模块,简单实用。但是,在以银行为代表的金融数据中心,追求高安全性和可控性,一直担心万一水管爆柜被淹,所以水管进入机柜区域是非常忌讳的,而且大部分金融数据中心以中等功率密度机柜为主,高密度机柜较少, 所以更倾向于采用传统的下风送风房级空调方案,将冷冻水和冷凝水隔离在空调区。此时可以采用传统的机柜+冷通道封闭式半模块化方案。目前也有少数大型数据中心采用AHU空调,本质上是采用热通道封闭式微模块机房+送风方案,机柜功率密度不宜过高,而AHU空调本身没有冷冻水系统的冷藏箱,所以需要增加UPS电源,保证持续制冷, 对电源可靠性有较高要求,UPS应选择行业一线产品。
三、微模块机房用户在不同行业的适用性分析
由于其规模大、追求经济性、机柜功率密度高、对分区租赁管理的需求更大、设备灵活调整的机会更多,运营商和IDC行业的机房是最合适、最早采用微模块机房的行业。而且,很多IDC客户的IT设备都有自己特定的配置模式,对IT配置有很强的控制力,可以根据IT设备配置推导出匹配的微模块机房设备配置,业务增量大,因此很容易复制大规模标准。
(1)第三方数据中心租赁行业
第三方机房租赁行业面临的客户群体及其需求,租赁期限都变数不清,如果是批发用户比较好,零售用户基本无法实现IT机柜模块的标准化,所以国外很多大型数据中心采用无机柜地板送风的施工方式。此外,这类客户往往对成本敏感,因此微模块机房的推广有一定的局限性,主要针对大型IDC用户批发业务,小型零售业务不适用。建筑房间模块化可能更容易,更有价值。但是,此类客户使用电源模块和制冷模块的机会更大。
(2)金融业
机房
的金融行业一般以中密度为主,少量以高密度为主,注重安全性、可靠性和稳定性,在技术上相对保守,因此微模块机房的应用比较小,或者以传统机房以下的送风精密空调为主。即使考虑节能,在传统的双排机柜上也用冷通道封闭,只有少数高密度区域机房和分支小机房会优先考虑微模块机房。除了解决个别高密度区域机房的应用外,其目的是简化市政分机房、测试机房、弱电机房等小型机房的采购方式,节约建设成本。
(3)政府、医疗、教育、一般企事业单位
这类用户的需求相对分散,一般以中小型机房为主,配置不统一,而且大部分功率密度不高楼宇自控扩展模块,从技术角度来看,除了少数有限的空调布局外,做微模块机房主要在机房设备统一采购和售后服务方面有优势, 技术紧迫性有限。很多客户使用微模块机房更多的是为了新奇美观,工程采购管理界面简单,很大程度上受到行业趋势的影响。
(4)军工和科研工业
这
军事科研领域的机房需求往往两极分化,一方面对安全性和可靠性要求高,很多都有秘密屏蔽的要求;另一方面,追求非常规、高度实验性、超高密度机房的现象很多。10kW以上的单个机柜的功率密度非常普遍,特别是超级计算机房中单个机柜的功率密度高达20-80kW,而传统的精密配电柜和行间精密空调难以满足需求,往往需要定制高密度配电和制冷系统。这类客户主要有定制需求,甚至需要使用液冷解决方案,很难批量采用标准的微模块产品。这类用户也有一些分散的科研机柜需求,要求不高,需求碎片化,使用标准化模块机房意义不大,直接购买机柜厂家设备用少量电源和空调。
4. 虚拟化和云技术对微模块机房的影响
从数据的角度来看中心使用、
虚拟化和云计算可以显著提高IT设备的利用率,提高单个机柜的功率密度,减少数据中心的一次性建设规模,形成多个数据中心的远程备份,有利于资源共享、调峰使用和容灾备份。
这种变化更有利于模块机房的推广应用,IT设备利用率的提高使得越来越多的高密度机房,越来越适合使用模块化机房。
云技术可以将数百台服务器虚拟化为功能强大的服务器,然后将其拆分为多个虚拟机并分配给不同的用户以完成特定功能。采用类似的原理,分布式网络存储系统采用可扩展的系统结构,使用多个存储服务器共享存储负载,并使用位置服务器来定位存储信息,这不仅提高了系统的可靠性、可用性和访问效率,而且易于扩展。这使得机房的服务器和存储设备布局更加灵活,减少了由于业务功能和应用不同而刻意分区的集中安装和管理,使标准模块化机房的部署更加容易。此外,云计算技术的成熟
使得大规模互联网应用服务的快速在线部署和快速更新迭代更加激烈,相应地需要更快速、更灵活的数据中心基础设施建设,解决方案是标准化、模块化、预制化,最终极大地促进了模块化机房技术的发展和成熟。
但与此同时,由于云技术的快速灵活部署和更新,数据中心的运行现状也随之恶化。
IT设备更加多样化,电力、冷却、网络需求的峰谷波动更加明显,倒逼数据中心基础设施的智能化、柔性化、自适应能力进一步提升。目前,许多一线厂商推动智能AI技术融入微模块机房产品,目前仍处于初步实践阶段,真正的数据中心整体智能控制管理技术的发展还有很长的路要走。
五 小结
作为产品技术
上,微模块机房与其他数据中心技术一样有其优缺点,但它带来的数据中心系统集成化、标准化、预制建设思路比其自身的产品价值意义更大,因此许多制造商将其封装打造成推动商业模式变革的有力工具。但这种思想观念需要长期探索和优化积累才能务实落地,配套的市场生态环境也需要长期培育才能成熟。
诞生之初,微模块机房
原本只适用于少数高密度机房,但经过十几年的发展和完善,微模块机房解决方案的内涵不断丰富升级,成本大幅降低,加上市场和政策的变化,微模块机房的应用范围不断拓宽和深化。特别是近年来,中小型机房在公共领域(政企、科教、交通等)的渗透和扩张,将微模块机房的发展推向了高潮,技术分支越来越细化,功能越来越多,使用便利性也越来越高, 并且不再局限于内部微模块产品,而是真正的机房整体解决方案,实现从专用产品到通用产品的转变。