浅谈济宁医学院附属医院机房UPS系统升级改造工作

2017-11-23 09:56:21 爱德腕带 阅读

以济宁医学院附属医院机房UPS系统升级改造工作为例,从升级改造原因、方案论证、新UPS切换、原UPS拆除等方面详细阐述了机房UPS系统升级改造工作的重点,总结出相关体会及建议:机房UPS系统需要配置为容错系统;机房UPS系统需要单独配置手动维修旁路,不是UPS内部的手动维修旁路;全面的评估、论证,并制订完善的计划,对于复杂项目来说是非常重要的。


一般来说,使用中的机房或数据中心或多或少存在一些需要升级或改造的系统(设备)。造成这种情况的原因是多方面的,例如技术进步、预算限制、标准规范的更新、设备设施老化故障等。UPS,即不间断电源,是将蓄电池与主机相连接,通过主机逆变器等模块电路将直流电转换成市电的系统设备。UPS主要用于给机房内的各种电子信息设备提供稳定、不间断的电力供应,是机房或数据中心中非常重要的设备。对机房UPS系统进行升级改造,是一项非常复杂,风险很高的工作。本文结合济医附院的案例,介绍机房UPS系统升级改造工作。



升级改造起因及方案论证
医用腕带



在2011年济医附院3#楼信息中心机房新建时,配置了一套S品牌模块化UPS为机房内所有电子信息设备提供电源保障,因为UPS配置了N+X个模块,从UPS系统自身来说是一套冗余系统,当系统发生故障时,冗余配置的部件介入并承担故障部件的工作,由此延长系统的平均故障间隔时间,可以提供较为安全的供电保障。机房的配电方式为:从医院配电室引一路电缆作为UPS输入,机房各强电列头柜的两路输入均由UPS输出配电柜引入,每个机柜内的两个PDU由对应的强电列头柜的两路配电引出。此种配电方式,虽然从设备端来看是采用“双母线”的布线方式,但是此“双母线”的源头是同一套UPS,相对于机房来说,UPS是作为一个单点运行的。


2016年5月,S品牌厂商通知UPS有安全隐患,为了保障UPS更可靠的运行,需要对原有UPS进行整机更换处理。因为3#楼信息中心机房是医院的核心机房(数据中心),S品牌UPS又是该机房唯一的UPS设备,济医附院信息中心对这个问题高度重视,组织医院后勤处、厂商以及维保公司进行了多次讨论,进行了较为全面的论证、评估。对比了各种可能的更换方案后,为了提高机房整体的安全性,计划对机房UPS系统进行升级改造,在更换S品牌UPS之前,新增加一套独立的UPS,与原有UPS组成完全独立的“双母线”容错系统,也就是说每个机柜内的两个PDU电源取自两套完全独立的UPS输出,这样,即使出现一套UPS完全宕机的极端情况,也可以由另一套UPS独立承担整个机房的不间断安全运行,为机房的安全性提供了有力的保障。通过增加一套新UPS,可以在保障设备不断电的前提下,对原有UPS进行升级改造。


在准备机房UPS系统升级改造方案的同时,信息中心也准备了应急预案,以应对可能出现的S品牌UPS无法正常使用的情况。在机房准备了一段电缆,用于紧急情况下,跳过UPS,直接把S品牌UPS市电开关同S品牌UPS输出总开关连接,机房的电子信息设备直接使用市电,这样能尽量缩短机房设备停机的时间。



新UPS安装启用及切换
医用腕带



医院审批通过后,在2016年11月采购了一套H品牌模块化UPS。2016年12月开始现场施工,2016月12月30日前完成散力架安装、UPS主机就位、主电缆敷设。从医院配电室引一路主电缆至3号楼机房,增加一台UPS输入配电柜(含冗余开关以及手动维修旁路,包括为新S品牌UPS准备的手动维修旁路),增加一台UPS输出配电柜,从UPS输出柜分别引4路电缆至各强电列头柜。对机房内设备进行全面检查,确认双电源设备的两路电源是否是取自机柜内不同的PDU,是否有单电源设备,确认单电源设备可以断电的时间。


2017年1月,新H品牌UPS开机,各项测试正常。医院同H品牌UPS施工单位沟通确定了UPS切换流程,计划分3次逐步把各强电列头柜中的一路开关,由连接S品牌UPS切换至连接H品牌UPS,另外一路开关保持连接S品牌UPS不变。为了安全起见,先将为部分非核心系统设备供电的编号A3的强电列头柜切换,把其中的编号A3-2开关切换至H品牌UPS,A3-1开关保持连接S品牌UPS不变。


在完成第一次切换工作后,因出现了一个特殊情况,对原有计划进行了变更。2017年2月,机房S品牌UPS出现了数次电池负电压高(315-353V)的短暂报警,测量电池电压也高。S品牌公司工程师表示这个情况一般来说是功率模块故障导致,可以通过逐一关闭功率模块的方法来检修,建议尽快检修UPS,防止电压高导致的电池故障等问题。


经信息中心、后勤处、维保工程师、H品牌UPS施工单位讨论,计划提前进行剩余两次切换的工作,把余下各强电列头柜中的一路开关,由连接S品牌UPS切换至连接H品牌UPS。这样每个机柜内的两个PDU电源取自两套完全独立的UPS输出,随后马上检修S品牌UPS。


2017年2月10日20点左右,开始进行机房A2强电列头柜的A2-2开关切换至H品牌UPS,A2强电列头柜的A2-1开关保持现状连接S品牌UPS。然后进行A1强电列头柜中一路开关切换至H品牌UPS的工作。


在2017年2月11日凌晨2:20完成所有强电列头柜的一路开关切换至H品牌UPS后,开始检修S品牌UPS 电池负电压高的问题,把S品牌UPS中最下方的功率模块关闭,观察S品牌UPS 电池负电压从360 V逐步下降至325 V正常值,说明该模块有故障。根据S品牌厂家意见,暂时没有拆下该故障模块,待更换UPS时再处理。


在2017年2月11日凌晨3点切换工作完成后,为了继续观察并保障医院上午业务高峰时的系统安全,对S品牌UPS、H品牌UPS及切换相关设备进行多次查看,未发现异常。



原UPS拆除并更换
医用腕带



至此,已经完成3#楼机房内A3-2、A2-2、A1-1、A1-4共四路开关由S品牌UPS至H品牌UPS更换的工作,机房内每个机柜的两个PDU已分别连接S品牌UPS和H品牌UPS,双电源设备已同时连接不同的两台UPS,按照前期的计划可以开始准备进行更换S品牌UPS的工作。S品牌UPS停机更换需要3天时间,在这期间机房的供电如果采用另外一台其他项目暂未使用的UPS做备用或全部使用H品牌UPS,在S品牌UPS更换时,机房负载均有两次处于单电源供电情况,风险性较高。信息中心同后勤处等沟通后决定在S品牌UPS停机更换期间,连接S品牌UPS的负载通过新增加的手动维修旁路连接市电,新S品牌UPS启用后,负载无需停机,平滑连接到新S品牌UPS上。


2017年2月20日新S品牌UPS到院。2月21日夜间把旧S品牌UPS上的设备电源通过新增的手动维修旁路开关连接市电。因为在此期间部分设备电源会断电,为了保障安全切换,信息中心请机房设备的维保公司也来院配合。实施步骤如下:把连接在S品牌UPS对应PDU上的单电源设备切换至H品牌UPS对应的PDU上;把各强电列头柜中对应S品牌UPS配电柜中的开关逐一断开;断开S品牌UPS配电柜中输出总开关,关闭S品牌UPS;断开S品牌UPS市电总开关、输入总开关;把为新S品牌UPS准备的手动维修旁路开关同S品牌UPS连接好;闭合S品牌UPS市电总开关,闭合手动维修旁路开关;把各强电列头柜中对应S品牌UPS配电柜中的开关逐一闭合;观察对应PDU设备电源状态是否正常。


2月21日夜间观察设备运行状况,至2月22日8点没有发现异常情况。S公司开始进行旧S品牌UPS拆除,新S品牌UPS安装。步骤如下:对S品牌UPS上游开关断电,拆除UPS电缆和机柜间连接;把旧UPS搬离机房,然后把新UPS就位;连接UPS电缆和机柜间连接,闭合UPS上游开关,开机调试。


2017年2月24日,S品牌UPS更换完成并且调试测试正常后,当天晚上把3天前通过手动维修旁路连接市电的UPS负载,无间断地再通过手动维修旁路切换回S品牌UPS在线输出回路。切换步骤如下:将S品牌UPS切换至内部维修旁路模式;闭合S品牌UPS输出总开关;断开手动维修旁路开关;将S品牌UPS切换为正常逆变工作模式即UPS供电。


机房UPS系统升级改造的实施工作历时近3个月,加上前期论证、准备的时间,共9个月。信息中心、后勤处、UPS维保公司、UPS厂家、安装公司、其他设备维保公司等多个单位参加,人数最多一次夜间切换工作共有27人参加。经过本次机房UPS升级改造工作,主要有如下收获:机房UPS系统非常需要配置为容错系统,即两套或两套以上的系统,在经受住一次严重的突发设备故障或人为操作失误后,仍能满足电子信息设备正常运行的基本需求。机房UPS系统非常需要单独配置手动维修旁路,不是本项目中S品牌UPS内部的手动维修旁路。通过对UPS及其外置维修旁路的正确操作,用户可将UPS负载无间断地切换到此外置手动维修旁路上,然后使UPS主机彻底不带电,工程师就可以安全地对UPS进行维修,甚至是拆除。当维修工作完成后,用户同样可以将UPS负载无间断地从手动维修旁路切换回UPS在线输出回路。全面的评估、论证,并制订完善的计划对于复杂项目来说,是非常重要的。本次升级改造工作从前期方案拟定到后期的安装、实施,进行了多次深入的讨论、评估,各方群策群力,提前考虑各种困难的应对措施,制订了总体计划、分项计划和应急预案等,保障了项目的顺利实施。


中国数字医学




点击这里给我发消息
点击这里给我发消息