顺义一家做医疗器械分销的公司,机房在办公楼里一间没有窗户的小屋。某天下午两点,园区电网检修,市电晃了一下,不到半秒就恢复了,但整排机柜黑了。UPS 用了五年多,电池早就老化,真正撑住的时间不到三分钟,服务器没等到优雅关机就断了电。事后打开电池仓,六节电池里四节已经鼓包。
另一家做物流的公司,故障来得更安静。精密空调的冷凝水排水管被灰尘堵了一半,水顺着机柜底座渗进防静电地板下面,泡了两天没人发现。先是几台交换机莫名端口报错,维修工程师掀开地板才发现下面已经积了一滩水。还有一家贸易公司,服务器的 RAID 阵列卡亮了三个月黄灯,谁都没当回事,也没人去看阵列日志,直到第二块硬盘也坏掉,整组阵列直接散掉,业务停了两天才从备份里勉强找回数据。
这三件事有一个共同点:都不是突然发生的,都有明确的先兆,而且先兆全都写在任何一份标准机房巡检清单里。问题不是没人进机房,是进了机房不知道该看什么、看到什么算不正常。今天把中型企业机房巡检的 12 项拆开讲清楚,无论你打算让外包公司做,还是自己留着对账,这份清单都用得上。
先说清楚:走一圈拍两张照片不叫巡检
不少公司的巡检是这样的:外包商每月派个人来机房,开灯、绕一圈、拍两张照片发到群里,配一句「一切正常」。这种巡检出了事照样兜不住,因为它缺了三样东西。
第一是固定清单。每次查的项目一样,才能对比出变化;凭感觉看,看到什么算什么。第二是量化判据。UPS 电池不是看外观鼓没鼓包,是测内阻和端电压,跟上次读数比;空调不是瞄一眼温度计,是核对回风温度、湿度与设定值的偏差;硬盘不是听声音,是看阵列卡日志和硬盘健康报警。第三是书面留痕。巡检单写明每项读数、异常项和处理建议,双方签字,问题项下次进场先复核。这三样齐了,巡检才从仪式变成管理动作。
下面按动力与环境、网络与边界、服务器与虚拟化、容灾与制度四个维度,逐项过一遍 12 项检查内容。
一、动力与环境:第 1 到 4 项
第 1 项,UPS 电池与旁路切换。电池是机房里最典型的「看着没事、出事就大」的部件。巡检时用内阻仪逐节测内阻,记录端电压,内阻明显超标或节间压差过大的,列入更换清单,别等它撑不住那天。有条件的话,每半年到一年做一次市电中断模拟,记录 UPS 实际放电时长,这个数字才是电池的真实健康度。
第 2 项,市电与配电空开。用红外测温枪逐个测配电柜端子和空开温度,温升异常多半是端子松动或负载失衡,趁早紧固比出了火灾隐患再处理划算得多。同时核对双路供电是否真的接到不同的空开甚至不同的市电回路,很多机房的「双路」只是两根线接在同一排空开上。
第 3 项,精密空调温湿度与冷凝水。比对回风温度、湿度与设定值,偏差持续扩大说明制冷或加湿部件在退化。查滤网清洁度、冷凝水排水管是不是通畅、接水盘有没有积泥。两台空调轮值的机房,确认轮换真的在发生,一台长期备用、一台连轴转,坏的时候就是两台一起坏。
第 4 项,漏水检测与消防。机柜下方的漏水检测绳要实际测试一次,而不是只看它的灯亮不亮。烟感和气体灭火系统的压力表指针是否在绿区、灭火剂瓶体检修日期是否过期,都要写进单子。掀开一两块防静电地板,看下面有没有积水痕迹、有没有堆纸箱杂物,地板下是最容易被忽略的角落。
二、网络与边界:第 5 到 7 项
第 5 项,核心交换机与光模块。看双机堆叠或主备状态是否正常,别只看指示灯,要登进去看堆叠端口有没有反复翻转。用命令读每个在用光模块的收发光功率,跟上次读数比,光功率持续劣化的链路要提前换模块或清洁法兰,等到频繁丢包再查就晚了。顺便记录端口错误包计数,清零观察,累积过快的端口背后往往是线缆或网卡在退化。
第 6 项,华为 USG 防火墙状态与策略留痕。中型企业机房里最常见的边界设备就是 USG 系列防火墙。巡检要看四层:主备切换状态是否正常、会话数和 CPU 水位是不是逼近上限、IPS 与反病毒特征库和固件版本是否还在维护期、以及最近一个月的策略变更记录。最后一条最容易被漏掉:谁在什么时候放通了哪条策略、有没有写变更原因,这些留痕决定了出安全事件时能不能追责,也是判断策略是不是越配越乱、需要做一轮收敛的依据。如果这些活外包给了服务商,变更留痕必须写进服务范围,具体怎么核对可以参考响应时间分四档里对各级响应的界定。
第 7 项,双线宽带主备切换。不要满足于两条线路的指示灯都亮着。巡检时做一次真实切换:在约定窗口内断开主线,掐表看业务多久切到备线、DNS 有没有跟着切换、切回去之后业务是否正常。很多公司双线宽带摆了三年,一次都没真切过,第一次切换是在主线故障的半夜,结果发现备线路由早就不通了。
三、服务器与虚拟化:第 8 到 10 项
第 8 项,服务器虚拟化宿主机负载与存储余量。现在中型企业的服务器绝大多数是虚拟化形态,几台宿主机上跑着几十台虚拟机。巡检要看每台宿主机的 CPU 和内存水位、存储池剩余空间,更要看趋势:存储池余量两个月掉了四成,按这个速度什么时候见底,现在就该规划扩容。宿主机管理面的补丁状态也在这里一并核对。
第 9 项,RAID 阵列与硬盘健康。导出阵列卡日志,看有没有重建记录、降级记录,配合硬盘健康数据逐块核对。亮黄灯的阵列必须当天处理:确认热备盘是否已经自动顶上、重建是否完成、坏盘是否已列入更换。开头那家贸易公司的教训就是黄灯亮了三个月没人管。
第 10 项,快照与无用文件清理。升级前打的临时快照、测试留下的孤立磁盘文件,是存储池的隐形杀手。存储池一旦被写满,最先出事的是所有虚拟机一起暂停。每次巡检过一遍快照清单,超过约定保留期的一律删除并记录。
四、容灾与制度:第 11 到 12 项
第 11 项,备份核查与恢复演练。备份是「看着天天成功、出事才发现没用」的重灾区。巡检要看备份任务的真实成功率、失败任务的原因,更要做恢复抽验:每月挑一台不太关键的虚拟机,真的从备份恢复一遍,验证恢复出来的东西能开机、数据是对的。异地副本有没有真的同步过去,也要核对副本的时间戳。没有恢复演练背书的备份,只能算心理安慰。
第 12 项,标签台账与巡检单签字。机柜跳线标签、交换机端口对照表、配电回路表,每次变更后是否同步更新。这些琐碎的东西决定了半夜故障时排障速度。最后,每次进场都要有书面巡检单:每项读数、异常描述、处理建议、双方签字,上次的问题项这次先复核再往下走。一份完整的巡检单长什么样、第一次进场应该交付什么,在签外包后的第一个月应该发生什么里有展开。
12 项汇总成一张表
| 项目维度 | 重点检查项 | 常见隐患信号 | 外包商应交物 |
|---|---|---|---|
| 动力与环境 | UPS 电池内阻、空开温升、空调温湿度与冷凝水、漏水烟感 | 电池鼓包、端子发黑、回风温度漂移、地板下潮气杂物 | 巡检读数表、隐患照片、整改建议 |
| 网络与边界 | 堆叠状态、光模块收发功率、USG 会话数与策略变更留痕、双线切换实测 | 光功率持续劣化、会话数逼近上限、策略无变更记录、备线从未切换 | 配置备份、变更记录、切换测试记录 |
| 服务器与虚拟化 | 宿主机负载与存储余量趋势、RAID 与硬盘健康、快照清理 | 存储池余量骤降、阵列黄灯、过期快照堆积 | 负载与容量报表、清理记录、坏盘更换单 |
| 容灾与制度 | 备份成功率与恢复抽验、异地副本核对、标签台账、巡检单签字 | 备份静默失败、标签对不上实际线路、口头巡检无单据 | 恢复演练报告、签字巡检单、问题闭环清单 |
四个维度合起来正好 12 项。可以按频率拆开执行:动力环境每月一次,网络边界每月一次,服务器虚拟化每月一次、容量趋势每季度复盘,恢复演练每月抽验一台。频率不是重点,重点是每次都有读数、有对比、有签字。
常见问题
问:机房巡检多久做一次合适?
答:中型企业机房建议每月一次标准巡检,每季度加一次复盘(容量趋势、策略收敛),每半年到一年加一次深度测试(UPS 放电、双线真实切换)。没有专职机房管理员的公司,把标准巡检固定外包,深度测试提前约窗口,别因为怕麻烦省掉,省掉的深度测试往往就是将来最大的故障成本。
问:外包公司说每月都来巡检,怎么判断是不是走过场?
答:三个判据:一看巡检单有没有量化读数,只有「正常」两个字的不算;二看历史读数能不能拿出来对比,连续三次读数一模一样的多半是抄的;三看他会不会主动报问题,一年到头零隐患的巡检,基本可以断定没在真查。
问:巡检中发现隐患,是当场处理还是先报告?
答:分层处理。低风险的当场处理并记录,比如清滤网、清过期快照、紧固端子;影响业务的动作,比如阵列换盘、切换测试、策略调整,必须先报方案、约定窗口再动,而且要有回滚预案。这条边界写进服务合同,双方都不为难。
问:我们机房很小,就两三个机柜,也需要 12 项全做吗?
答:项数不变,深度可以降。小机房没有双机堆叠、没有双空调,对应项就简化成单设备健康检查。真正不能省的是三样:UPS 电池健康、备份恢复抽验、书面巡检单。这三样恰好是文章开头三个事故的直接解药。
关于作者
北京思文力得科贸有限公司,2011 年成立,国家高新技术企业,办公地在北京市顺义区汇海南路 1 号院 3 号楼 9 层 3-1002,做企业 IT 运维外包、网络设备整包、弱电与异地组网,自研 sTrust 零信任与羽信安 SD-WAN。持有 ISO 9001、ISO 20000 和《增值电信业务经营许可证》(编号 B1-20252821)。官网:www.siwenlide.com,咨询电话 400-686-2011。
小结:机房故障几乎都有先兆,先兆几乎都藏在例行检查里。巡检的价值不在于「人来过」,在于固定清单、量化读数、书面签字这三件事。12 项覆盖动力环境、网络边界、服务器虚拟化、容灾制度四个维度,无论谁来执行,拿这张清单对账,走过场的巡检立刻现形。
