北京顺义一家两百多人的贸易公司,机房里两台虚拟化宿主机跑了四年,老板一直觉得心里有底:NAS 上挂着定时任务,每天凌晨三点自动备份财务数据库和文件共享盘,后台绿灯亮了一整年。直到十月里一个周四的凌晨,阵列两块盘先后亮了红灯,运维被电话叫醒,急着把数据往备用机上倒,点开最近三十天的备份包一看,全是几十 KB 的报错日志空壳。真正还能用的,是八个月前有人手动拷出来的一份老副本,中间隔着整整一个季度的账。
没还原过的备份,只是占着硬盘的心理安慰。
那一夜全员硬扛,没人合眼。
这种事故最气人的地方在于,平时一点征兆都没有。备份任务每天照跑,成功日志每天照写,周报也照发。可备份系统报的成功,只说明拷贝这个动作做完了,不说明还原这个结果成立。中间隔着多少坑,只有真拿一次恢复演练去趟,才趟得出来。趟不出来,那天夜里的抓瞎就等于提前彩排过一遍。
绿灯亮了一年,为什么关键时刻全是空壳
头一类坑出在数据库身上。财务、ERP 这类系统白天一直有人用,直接拷数据文件等于抄一份残缺账本,所以备份脚本要么先锁表、要么走快照。偏偏有的脚本升级之后,锁表参数没跟上数据库版本,跑起来不报错,规规矩矩打出成功日志,落地的却是个空壳。还有的用增量备份,全量加一串增量像一根链条,中间哪天的增量损坏或者被清理脚本误删,后面环节全部作废,恢复工具一打开直接报链断。
链子断一环,后面全白搭。
第二类坑更冤:备份任务用的账号密码过期了。域策略九十天强制改密,改密那天没人想起脚本里还存着旧密码,任务跑不动,静默退出,日志躺在没人看的角落里。第三类坑是清单不全,真到灾备那天才发现,华为 USG 防火墙的策略、核心交换机的配置压根不在备份范围内,数据救回来了,网络起不来,照样开不了工。最狠的是第四类,备份盘跟业务服务器摆在同一个网段,勒索软件进来一锅端,原件副本一起加密,连讨价还价的余地都没给自己留。
查得到的原因都不算冤,冤的是从没人查过。
演练场地先挑对,别在生产库上赌手气
月度演练头一条规矩,是选对地方。挑业务低峰期,用独立的测试宿主机或者隔离网段做还原,生产系统碰都不碰。有人图省事,直接把备份挂回生产库覆盖,一旦备份包本身有问题,等于二次事故,这锅谁背谁难受。隔离环境不光保生产,还原过程中暴露出来的报错,也敢放心让它报个够。机房的隔离区怎么划、割接演练怎么排,我们在机房改造不停业的分阶段割接一文里写过现成的做法,可以直接搬。
在生产库上直接还原,等于自己给自己造事故。
每月抽检三类资产,别贪全
演练不用大而全,每月轮着抽三类最要命的。头一类是财务和 ERP 数据库:把最近一次备份还原到测试库,登进去查前一天的真实凭证和单据,能查到、金额对得上,这一个月的账才算保住了。查不到,当场就要去翻备份任务日志。
第二类是虚拟化整机镜像。挑一两台业务最重的虚机,在测试宿主机上拉起来,看服务起没起、网卡通不通、应用能不能登录。镜像拉不起来的原因五花八门,快照链断、版本不匹配、存储驱动缺失,哪一样都能让所谓整机备份变成摆设。顺带说一句,宿主机本身的补丁窗口安排,可以参考虚拟化宿主机打补丁的停机窗口那篇,演练和补丁错开排,机房不折腾两遍。
第三类最常被漏掉:华为 USG 防火墙和核心交换机的配置文件。把配置导进备用设备,核对策略条数、时间戳和对象定义齐不齐。数据都救回来了、网络配置找不着,恢复现场照样瘫痪,这笔账很多公司从来没算过。
掐表记真实耗时,给老板一个真实底数
每次演练掐两块表:一块记恢复用时,从拿到备份包到业务能登录,一共多少小时;一块记数据截止点,还原出来的数据停在哪天哪个时点。前者是业务能忍多久,后者是丢多少小时的账。这两个数别估,估出来的数在老板那儿迟早穿帮。拿真数跟业务方对一遍,对方认了,出了事才不会互相埋怨。数字难看正好,趁没出事把备份策略、带宽、流程挨个补课。
报数要掐表,别拍脑袋。
异地副本也要真的拉起来一次
本机演练过关,只算及格一半。异地那份副本同样要定期拉起来验。多分支的企业可以让备份跨分支互为异地:A 仓的备份数据经羽信安 SD-WAN 加密链路同步到 B 仓的存储上,或者定期做冷备拷出去锁柜子。运维人员远程调取异地演练环境时走 sTrust 零信任的单次授权,验完即收,不在公网上留常开的口子。sTrust 是羽信安 CPE 内置的零信任模块,跨分支做异地备份同步和远程恢复演练时,既能把链路加密打通,也能把操作权限收口到人。真出事那天要跑路的不光是数据,还有操作权限,两头都得有章法。
演练记录要写进外包月度交付单
规范的 IT 运维外包交付里,备份演练不该是口头汇报,而是按 ISO 20000 服务管理流程落纸面的东西。思文力得持有 ISO 20000 注册号 03826IT00184R001,覆盖范围是计算机应用软件开发与网络硬件运维,我们给客户按月留三样:演练记录表、失败根因分析、整改回测单。哪个月还原失败、原因是什么、什么时候补测通过,一条条对得上。选服务商时也可以拿这个当尺子,只交一张备份成功截图的,趁早把要求提上去,具体服务范围可以看IT 运维外包服务页面的交付清单。
纸面记录在,出了事才说得清谁尽过责。
假备份隐患与月度演练对照
| 备份对象 | 常见假备份隐患 | 月度演练实操动作 | 演练合格标准 |
|---|---|---|---|
| 财务/ERP 数据库 | 锁表参数失效只拷了空壳;增量链中间断环 | 低峰期还原到测试库并登录核对 | 查得到前一天真实凭证,金额对得上 |
| 虚拟化整机镜像 | 快照链断;镜像与宿主机版本不匹配 | 测试宿主机拉起一两台业务重载虚机 | 服务自启、网卡通、应用可登录 |
| 防火墙策略配置 | 压根没进备份清单;导出不完整 | 导入备用设备比对策略条数 | 策略条数、时间戳与线上一致 |
| 核心交换机配置 | 网段与端口定义遗漏;只备了启动文件 | 恢复到备机并接入隔离网段验证 | 分区互通、管理地址正常 |
| 文件共享盘 | 权限没随数据走;只剩占位文件 | 抽样打开需授权的目录和最新文件 | 文件打得开,部门权限对得上 |
对着这张表轮着抽,一个季度滚一轮,关键资产全覆盖。哪一格连着两个月不合格,那套备份就该推倒重配,别再指望它哪天突然争气。
常见问题
问:恢复演练每月都做,会不会占用生产停机时间?
答:不占。演练全程在测试宿主机或隔离网段里做,生产系统只读不动。真要碰生产,也只限凌晨低峰把最近一个备份挂载核对,核完即卸载。排期放在上午十点前或周五晚上,业务基本无感。
问:每月都要把全部备份恢复一遍吗?
答:犯不上,也来不及。轮着抽:这个月抽财务库,下个月抽虚拟机镜像,再下个月补网络设备配置,一个季度滚下来关键资产全覆盖。全量恢复留给年度大演练,配合停机窗口慢慢做。
问:备份包有好几个 TB,测试环境放不下怎么办?
答:先只还原关键库和最近三天的增量,虚拟机挑一两台业务最重的当代表。存储紧张就借备份软件的即时挂载功能,不落盘直接拉起核对。验的是能不能还原,不是搬家,别在容量上死磕。
问:交给 IT 运维外包公司之后,演练这块算谁的活?
答:写进合同和月度交付单,算外包方的交付物。甲方按月留存演练记录表、失败根因和整改回测单,别只收一张备份成功的截图。哪个月收不到记录,就该追问了。
关于作者
北京思文力得科贸有限公司,2011 年成立,国家高新技术企业,做企业 IT 运维外包、网络设备整包、弱电与异地组网,自研羽信安 SD-WAN 异地组网与 sTrust 零信任。持有 ISO 9001、ISO 20000 和《增值电信业务经营许可证》(编号 B1-20252821)。官网:www.siwenlide.com,咨询电话 400-686-2011。
演练提醒:本月挑一个业务最闲的上午,把财务库最近一次备份拉到测试环境还原一回,掐个表。查得到前一天的凭证,这套备份才算数;查不到,趁没出事赶紧重配。演练记录留档一行是一行,真出事那天,那就是救命的东西。
