如何在IT设备的不中断运行前提下,成功规划并运作该类改造项目,使工程顺利实施并保证施工质量,使很多建设单位颇感头痛。近期,人民银行成功实施了“测试中心机房在线改造”项目,在改造方案规划、实施组织和工程运作方面,取得了宝贵的经验。
一、工程背景
(一)测试中心背景
人行银行支付系统测试中心已使用7年多,是该行新业务系统的摇篮,目前保有大额实时支付系统等5套该行在役核心业务系统的模拟测试环境,承担大量二线技术支持任务,且每年有一半以上时间对外接入全国各省市商业银行,提供业务系统测试和模拟运行服务,是该行权威的业务技术检验平台。
因业务发展迅速,目前核心机房区面积不足使用,场地技术安全性差,配套电力、制冷设施达到极限,设备设施陈旧,故障频发,急需进行改造。
(二)项目目标
按照“实用可靠、有效适度、经济节约、技术先进”的原则,确定该数据中心改造的目标是,适应该行信息化发展需要,满足测试中心未来三到五年业务发展需要,全面提高机房的可用性、可靠性、安全性和可管理性,增加电力、空调等场地设施容量,增加核心区面积,消除原来的设备/人员混杂隐患,使机房安全防护水平整体达到B类标准,部分达到A类,为信息系统提供安全、稳定的运行支撑环境。
(三)IT设备情况
拟进驻测试中心的设备以计算机系统为主(约80%),网络通信设备为辅(约20%)。计算机设备主要为IBM系列设备,包括IBMmainframe主机系统2套、小型机约120台套、PC服务器40台套、磁盘阵列10余台套,兼有少量其他主流品牌的PC服务器产品。网络通信设备主要包括各类交换机、路由器等。设备以上架类为主,兼有个别塔式设备,设备占用机位为1174U,额定总功率为260KVA。改造后,拟有值班员2人,系统维护人员2人在现场维护和管理环境。
二、工程规划
机房工程建设是基本建设的重要内容,也是行业主管部门和上级机关严格管理的领域,有专门管理规定和强制性国家技术标准,建设方对此应有基本了解,并在此基础上,依据有关规定进行工程规划。
(一)规划依据
1、管理要求
根据行内具体情况,人总行2007年发布了《数据中心计算机机房建设指引》,除简明扼要列出了机房涉及各专业的技术要求,还重点描述了建设原则、建设流程、工作程序、质量控制和测试验收要求。该文件涵盖了数据中心机房建设中涉及的各方面要求,是一份重要工作依据。
2、技术标准与要求
国家技术标准按专业划分,对机房工程提出了具体的技术要求、工程规划和施工规范。常用的国家技术标准涉及场地、电气、暖通、弱电、消防等几类,主要包括:
1.机房(计算场、站)标准和规范:涉及对机房场地条件的通用技术要求,包括选址、组成,设备布置、建筑装修、环境条件、供配电、综合布线、接地、入侵检测、视频监控、消防安全等。
2.电气系统标准和规范:主要包括对场地供配电、照明、雷电防护等电气专业的设计和工程技术要求。
3.综合布线系统标准和规范:主要包括对智能系统、综合布线、安全防范系统等相关专业的设计要求、程序要求和验收规范。
4.空调通风系统标准和规范:主要包括对通风与空调工程设计、施工与验收的技术规范。
5.消防系统标准和规范:主要包括对建筑设计防火、火灾自动报警系统、气体灭火系统、灭火器材的设计规范、施工要求与验收规范。
(二)工程内容规划
按照国标《电子计算机场地通用规范》(GB/T2887-2000)的具体要求,结合本改造项目的具体情况和实际需要,规划工程内容为:
1、布局调整与建筑加固
机房初建为一个消防分区,后被改造分割成多个功能区。新规划按照人机分开、扩展核心区面积的思路,将多个功能区合并恢复成原来的一个消防分区,设置为无人工作的核心设备区,恢复机房消防安全措施。因建筑承重与国标要求相差较远,拟进行结构加固。
2、供配电系统
因改造需要,增加大量新的IT设备,UPS与配电系统扩容为原来的2.5倍。考虑原供配电系统经过多次临时改造,维护困难,规划按调整后的新布局和容量需求更新UPS和配电系统。
3、空调与通风系统
原机房精密空调容量不能满足IT设备运行需要,且设备已运行10年,故障频发,规划按照新需求更新设备。根据本机房现有新风系统的使用效果,参照部分电信单位及本单位生产系统等取消新风的经验,规划取消新风系统。
4、接地系统
接地系统涉及机房电气和所有用电设备的安全,是机房安全可靠性的重要保证。因原机房接地系统与现行国家技术规范相差很远,须按现有规范增加安装接地系统。
5、综合布线系统
根据各类设备的不同特点,规划按照设备类型分区摆放。为便于管理和维护,综合布线系统引入管理子系统(弱电列头柜),按照上走线方式使用6类线全部重新布线。引入KVM系统对IT设备进行远程操作控制。
6、安防系统
根据人总行对数据中心计算机房要求,建设红外入侵检测、视频监控、门禁等安全防护系统。
7、环境监控系统
为提高机房管理水平,增加建设机房监控系统,统一监视配电、空调、环境、安防等场地设施的运转情况。
8、照明系统
按照新的布局和机房照明要求,安装工作照明、值班照明和应急照明系统。安装疏散照明和安全出口标志灯,并采用红外感应式开关。
9、消防系统
考虑到消防系统改造需要专门资质的单位设计和施工,审批复杂,而原有消防系统运转良好,施工验收和年度审验合格。所以,决定不改造消防系统。
10、电磁屏蔽室
考虑测试中心没有真实业务,不存在业务信息通过电磁辐射泄密问题,所以也不进行电磁屏蔽室的建设。
(三)节能规划
在机房设计、建设过程中充分考虑节能问题,采取何种措施降低机房运行及维护成本,不仅是行业管理部门的要求,也是建设方关注的重要问题。使用发现,改造前测试中心原核心机房区面积刚刚一百平米,年电费已超过100万,能耗惊人。改造后,核心机房区面积扩大三倍多,节能问题将会更加突出。
据IDC预测,典型的数据中心中,空调系统消耗了约45%的电能,UPS供配电系统消耗了约24%的电能,最终IT设备得到的电能仅占30%,广州省电信规划设计院提供的数据与该比例基本吻合。因此,业界普遍认为机房节能应从制冷、电气系统的效率与节能角度综合考虑。测试中心改造项目主要从以下方面规划节能:
1、改善维护结构
机房东向墙体有大面积推拉普通玻璃窗,阳光可直射入室,引入不必要热负荷,且外部为一层庭院,安全性较差。规划用水泥板在内部封闭窗体,降低热负荷,提高安全性。
机房精密空调采用下送风上回风方式工作,使用地板下空间做冷风静压箱。考虑大厦外墙很厚但楼层地板不足20厘米,且地下为大厦强电室,为防止冷量耗散及凝露积水,规划在地板上安装保温层。
2、取消新风系统
测试中心所在大厦紧临北京交通动脉三环路,处于拥塞路段,室外空气质量很差。机房改造前安装有新风系统但基本未使用,维护人员发现设备经常很快积存灰尘,分析其原因,可能受新风系统管道进风的影响。参照本单位生产系统机房的使用经验,规划改造后取消新风系统,减少进入污染源,并可减少新风热负荷。
3、合理配备机房空调
据研究机构UptimeInstitute在2006年对美国19个数据中心的研究中发现,数据中心的过度冷却(Overcooling)差不多达到实际所需要的2倍。目前85%以上的数据中心机房存在过度制冷问题,对应的机房空调机组耗能也会比设计工况增加能耗50%以上,最终造成机房空调居高不下的高额运行费用及能源的浪费。
测试中心机房制冷规划中,详细计算了IT设备的额定总功率,实际测量了IT设备真实用电功率,相对精确地计算了总热负荷,合理调整了制冷能力配置。经仔细计算,改造前机房空调功率配备为950W/平米,规划改造后调整为790W/平米。同时,规划空调系统采用3+1备份模式,提高了系统可靠性。该配备方式的得到相关专家的认可。
4、合理规划设备布局
在总制冷量足够情况下,如果设备布局或空调气流组织设计不合理,常会导致设备局部过热,造成空调频繁启动。因此,空调和IT设备布放规划应充分考虑气流设计合理性、气流对设备机柜布局的要求、空调送风距离的考虑、与室外机的距离等因素,提高制冷的效率,避免局部过热存在。
具体做法是,在需求分析和布局规划中,将设备规划上架,注意重量和功率不要过高,然后以机柜为单位,分析设备功率和规划布放。机房使用面积340平米,规划布放设备机架70个,密度在国标规定的合理范围内(4.5-5.5平米/个)。设备摆放采取面对面、背靠背方式,气流空间分布具有清晰的冷热通道设计。区分不同类型的设备,将磁盘阵列、功率密度较高的IBM570等设备尽量摆放在送风情况最好的区域;要求设计方精确计算风口板数量,合理规划位置;要求施工方在机房投入使用后测试并调整风口板等。
5、合理配备电气系统设备
供配电系统存在固定损耗并转换成热量散发,是机房能耗的重要组成部分。如规划容量过大,负载率过低,不仅系统效率降低,电气系统固有能耗还会超过有功功率,增加了从电网索取的电量,提高了机房热负荷,因此,合理配置电力系统设备,避免电力过度规划对数据中心节能很重要。
结合规划目标,经反复计算和分析IT设备用电情况,明确了IT设备容量增长规律、电气系统设计目标和策略。测试中心UPS系统改造采用边成长边扩容策略,初期按照1+1模式配备UPS设备,容量为200KVA,以后需要时采用直接并机扩容。首批UPS设备配备后,使用效率在45%左右,系统运行在较好的效率指标区间,降低了能耗。
三、工程实施
根据人民银行总行规定,机房改造工程的建设过程主要包括需求分析、设计单位选择、总体设计、方案审定、方案报备、设备与工程采购、工程施工、工程验收等阶段。建设方需分析每个阶段的工作特点,把握工作重点,推进工程进展。
1、需求分析
需求分析是机房改造工程的前期工作关键,但实际工作中常常被忽略。准确详尽的分析需求,不仅有利于合理规划设备布局,充分满足使用需求,还有利于准确估算制冷系统、电力系统容量,合理规划机房节能,从而降低使用和维护成本,控制工程造价。需求分析如不透彻、不准确,将直接导致后期的设计、施工或建成后出现困难或必须解决的问题。某单位核心业务系统机房因需求分析不当,设备布局不合理,制冷设备设计不足,机房建成后被迫两次追加安装空调设备,机房仍出现局部过热现象,造成了工作被动。
建设方需要做的是,结合改造目标,详细分析机房历史使用情况,列出存在的问题,准确分析和估算IT设备体积、功率、电源要求等技术参数,大致确定机房使用方式,对场地功能分区、进场人员、进场IT设备、配电量、空调容量、消防安全、机房环境监测等提出初步要求,并编制项目需求书。
2、设计单位选择
根据行业主管部门的要求,机房设计单位需要有建筑智能化设计专项资质,且应与施工单位不为同一家单位。设计单位工作应贯穿项目运作始终。项目前期,设计单位应承担勘察、方案设计、配合方案审查、配合工程招标等工作;施工过程中,尤其施工前期,设计方应在现场办公,现场协商解决施工问题,并对所有施工变更提出技术审查意见;项目后期,设计方应参加工程验收。经验表明,对建设方最有利的是选择本地有资质的专业设计院所。但中小型数据中心改造投资规模小,设计费用不可能很高,寻找合适的设计合作伙伴有一定难度。
3、总体设计
方案设计要经多个回合的讨论修改。该阶段建设方应与设计单位充分沟通,仔细推敲设计方案的细节,尤其要从使用者的角度设想设计效果,尽量使设计方案充分满足使用需求和技术要求。对于电气、空调等关键系统,应要求设计方提供各项设计指标的计算书。
为控制工程总价、便于工程招标和评标,设计阶段最好能完成施工图设计,提出工程量清单,并对主要设备和材料确定技术规格并推荐相应的品牌。
4、方案审定与报备
按照人总行规定,设计方案需经保卫部门、会计财务部门和业界专业人士审查,并需向总行科技司和本地内审部门报备机房建设需求、设计单位资质、总体设计方案、审查意见、投资情况和建设工期等内容。
按照北京市规定,还需将设计方案报地方消防局进行消防审查。由于地方消防局管理的项目很多,递送资料和审查排队时间都很长,建设方宜及早开始准备消防审查资料,及早开始报备工作。
5、设备与工程采购
机房工程涉及空调、UPS、装修工程等多类设备和工程的采购,按照行业主管部门有关规定,货物或工程达到一定金额后必须进行招标采购。对设备采购,考虑到如采用一揽子公开招标,建设方对设备的品牌选择性很小,为得到高品质产品和满意服务,可将关键设备如空调、UPS的采购与装修工程分拆,由建设方单独采购。对施工采购,基于施工方案图、工程量清单和推荐材料品牌清单进行招标的模式对建设方相对有利。
6、工程施工
由于建设方对机房工程与技术并不专业,投入精力有限,因此引入监理对工程质量保证十分必要。国家目前对建筑工程监理有详细的工作规范《建设工程监理规范》(GB50319-2000),该规范对监理工作要求较细,可以用于指导工作。测试中心机房改造工程中,因基本不涉及土建工作,建设方选择了擅长信息系统监理的合作单位。监理方在技术方案、施工工艺、工程材料审验、施工变更、现场管理、工程验收等方面均发挥了重要作用。
7、工程验收
工程验收是工程质量保证的重要环节,行业管理部门和人总行对验收有明确的管理规定。人总行目前要求工程测试验收由建设单位自行组织。业内比较推荐的做法是,按照国家有关验收技术规范,在厂家自验合格、第三方专业检测机构检测合格的基础上,由建设方/监理方/设计方/厂家进行最终验收。
四、经验与教训
机房在线改造工程有关管理规定多,实施环节多,牵涉面广,实施复杂。笔者承担完成测试中心在线改造项目,主要的经验教训有:
(一)重视勘查工作
勘查工作是设计和施工的基础。对在线改造项目,各类现场限制条件很多,勘查工作尤其必要。不太认真的设计部门和没有经验的建设方常会忽略该环节。事实证明,勘查工作疏忽是工程实施出现不确定和工程价格风险的主要原因之一。建设方可以采取的具体措施是,在设计采购合同中规定设计方的勘查责任,要求设计方提交现场勘查报告,追究设计方勘查遗漏或失误导致的施工浪费,对因勘察原因导致的施工价格变更达到一定规模后可要求设计方承担。
(二)对设计单位加强管理
成功的工程设计是顺利完成机房改造工程的基础,对顺利完成后续工程招标,设备采购和工程实施都具有重要意义。测试中心机房改造项目实施过程中,笔者深感头痛的问题是如何控制设计方案的质量,如何有效管理设计单位,如何验收设计工作。通过实施测试中心改造项目,笔者的建议是,设计采购合同应尽量具体,包括将设计方的工作范围尽量具体化,并特别要明确勘察、招标阶段的工作要求;量化要求设计方在施工阶段的现场支持工作;在罚责条款中考虑将设计失误可能造成的施工浪费,对设计失误导致的设计变更进行量化考核,作为设计质量评价、设计工作验收的依据。
(三)设计与施工分开
根据有关管理规定,工程设计应该与施工分开运作,由不同单位承担,要求具有专业资质。这是对建设方很有利的规定。通过分开采购和运作,建设方可以有时间从容审查设计方案,使方案细节更充分满足用户需求;建设方可以提出更详细的施工要求,建议具体的设备材料品牌和规格;在施工、验收过程中,利益单纯的设计方能相对更关注工程质量并从技术上帮助建设方,有助于工程顺利运作和质量保证。
例外的情况也会存在。在线改造机房工程中,建筑结构常因需要进行加固改造。按照有关规定,建筑结构加固是建筑行业的特殊专业,需由原建筑设计单位或具同等资质的单位提供设计方案,由具有加固改造施工资质的专业队伍进行施工。考虑到采购运作手续比较复杂,加固工程本身又比较单纯,为明确责任,简化实施,建议由一家正规有资质的单位同时完成加固设计和施工,避免施工中发现原设计缺陷后无法施工,所带来的协调、工作量核算、费用、责任等方面的问题。
(四)在线保护
为保证数据中心改造施工期间业务系统不间断运行,在线改造机房常要分阶段施工,并需要采取必要的运行保护措施。工程实施中笔者发现,施工单位建议的木龙骨彩条布隔离墙,不能保证隔离空间内的恒温恒湿及无尘环境问题。
测试中心改造工程中,在一期和二期施工区域间安装了木质硬墙体并加包编织布,并特别注意在吊顶内、地板下的空间以及线缆槽孔进行封堵,将加固施工中的大量粉尘封堵在设备运行空间外,保证了设备运行区域的恒温恒湿条件。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国