半夜两点,手机铃声炸响。电话那头,运维小张的声音都在抖:“哥,数据库挂了,所有表空间都打不开了,客户那边已经炸锅了。”我一边穿衣服一边问:“备份呢?”他沉默了几秒:“上周的RMAN备份,但恢复的时候报错,ORA-01122,文件头校验失败。”那一刻我就知道,今晚又是个不眠夜。做Oracle数据库这行,恢复能力就是你的底牌。平时备份做得再勤快,真到恢复那一刻,你才知道自己到底有几斤几两。

很多人觉得备份就是跑个RMAN脚本,每天定时执行,完事。但真正到了恢复现场,问题从来不会按剧本走。备份文件可能因为磁盘满而中断,控制文件可能因为误操作被删除,归档日志可能因为空间不足被自动清理。我见过最离谱的一次,备份策略配的是增量备份,但归档日志因为存放目录权限配置错误,压根没写进去。结果恢复的时候,从周日的全量备份往前推,推到周三就断了,后面全是空洞。那晚我们用了整整六个小时,从redo log里硬抠数据,才勉强恢复到周二的状态,丢了将近一天的交易记录。
所以恢复实战的第一步,永远是确认你手里有什么牌。备份文件、归档日志、控制文件、redo log,这四样东西缺哪样,恢复策略就得跟着变。你先得搞清楚备份是全量还是增量,归档日志从哪个SCN开始,控制文件是不是最新的。用RMAN的list backup命令扫一遍,再用restore database preview看看需要哪些归档,心里有数了再动手。切忌上来就restore database,万一备份本身有问题,你恢复一半卡住,回滚比前进更麻烦。
接下来是恢复方式的选择。很多人一遇到数据库打不开,就急吼吼地要recover database。但Oracle的恢复分两种:完全恢复和不完全恢复。完全恢复是把所有归档日志和redo log都应用进去,把数据库恢复到故障发生前的那一秒。不完全恢复则是恢复到指定的时间点、SCN或日志序列号,通常会丢失一部分数据。选择哪种,取决于你手里的归档日志是否完整。归档日志齐,做完全恢复;归档日志断了,只能做不完全恢复,这时候你就要权衡,是恢复到某个时间点,还是跳过损坏的归档继续往后追。
我在处理生产库故障时,最怕的不是技术难点,而是业务方的决策压力。有一次,客户的核心交易表被误删了,业务方要求恢复到误删前,但归档日志恰好在那段时间有缺口,只能恢复到前一天晚上。业务方不干,说少了一个白天的数据没法交代。我们通过闪回查询配合redo log挖掘,硬是把误删的数据捞了回来。所以恢复不只是技术活,还得懂变通。遇到数据不完全的情况,别急着放弃,先看看有没有闪回日志,有没有开启闪回数据库,这些都可能成为救命稻草。
再说到RMAN的restore和recover命令,这是恢复的重头戏。restore是把备份的物理文件拉回来,recover是把归档日志和redo log应用上去。顺序不能乱,先restore后recover。但实际操作中,你可能会遇到控制文件丢失的情况。控制文件一丢,RMAN连数据库实例都连不上,这时候你得用备份的控制文件来启动实例,或者用trace文件重建控制文件。我习惯在备份策略里加上自动备份控制文件,这样即使控制文件全丢,也能从备份里快速拉回来。这条配置平时不起眼,关键时刻能省下两小时的排查时间。
还有个容易被忽视的坑,就是表空间状态。恢复完成后,数据库能正常打开,但某些表空间可能还是OFFLINE状态。你得用alter tablespace xxx online把表空间拉起来,然后再检查数据文件的状态。要是发现某个数据文件显示RECOVER状态,说明它还没应用完日志,得单独recover datafile。这一步漏了,业务方一查询就会报错,到时候你还得回头排查,白白浪费时间。我在检查恢复结果时,习惯用select tablespacename,status from dbatablespaces和select file,status from v$datafile两条命令交叉验证,确保每个文件都是ONLINE状态。
恢复演练是另一件重要的事。很多DBA觉得平时工作忙,没时间做演练,真出事了才临时抱佛脚。但恢复流程不演练,你根本不知道自己的备份策略有哪些漏洞。我见过一个团队,备份脚本跑了一年都没出过问题,结果第一次真实恢复,发现备份文件里少了两个数据文件,因为脚本里写的是表空间名,但后来新增的表空间没加进脚本。这种低级错误,只有通过演练才能暴露。我的建议是每季度做一次完整的恢复演练,用测试环境模拟真实故障,从备份恢复到数据校验,全程走一遍,把流程跑顺,把问题暴露在正式事故之前。
说点实在的,恢复这件事,心态比技术更重要。半夜接到故障电话,别慌,先深呼吸,按流程走。确认备份情况,判断恢复方式,一步步来。数据库恢复不是写代码,没有一次成功的侥幸,每一步都要验证,每一步都要记录。我记得有一次恢复花了整整十个小时,中间失败了三次,每次都要重新调整策略。但越是这种时候,越不能急,因为一旦你慌了,判断就会出错,反而更耽误时间。把恢复当成一次完整的流程来做,从备份确认、恢复策略选择、restore、recover、数据校验到业务验证,每一步都踏踏实实走完,才能真正把数据从鬼门关拉回来。备份是墙,恢复是门,墙修得再厚,门打不开,照样进不了屋。


