干了大半辈子数据库运维,最怕听到的就是凌晨三点那通电话。电话那头传来值班同事颤抖的声音:“数据全没了”。这场景我经历过不下二十次,每次都是同样的剧本——有人误删了表,有人格式化错了磁盘,有人升级到一半崩了系统。但每次我都能在几小时内把数据捞回来,不是因为我技术多牛,而是因为我太清楚数据库这玩意儿到底有多“皮实”了。

很多人一听说数据丢了,第一反应就是完蛋了,天塌了。其实数据库设计之初就考虑过各种灾难场景,自带了好几层保护机制。就好比你家的保险柜,就算钥匙丢了,还有备用钥匙,备用钥匙也丢了,还有密码锁,密码锁也失效了,还有指纹识别。数据库的恢复机制比这还多,只是大多数人不了解自己手里握着多少张“底牌”而已。
最基础的恢复手段是事务日志。任何正经的数据库系统,每做一次写操作,都会先生成一条日志记录,然后再去改数据文件。这就像记账一样,每笔支出先记在流水账上,月末再对总账。如果你不小心删了数据,只要日志还在,就能通过日志把当时的数据操作一笔一笔“回放”出来,相当于你拿着流水账把总账重新算一遍。关键是,日志文件的保留策略很多时候是默认开启的,很多企业根本不知道自己的日志保留了半个月甚至一个月,这半个月的数据都能找回来。
比日志更快的恢复方式是备份加归档。我见过太多公司,只做全量备份,不做增量备份和归档日志备份。全量备份就好比你每年拍一次全家福,但平时家人的变化都没记录。真要恢复起来,只能恢复到上次拍照那一刻的状态,中间几个月的数据全得靠日志补。所以懂行的DBA都会做“0级全备加1级增备加每日归档”的组合拳。这套组合下来,能让你把数据库恢复到任何一个时间点,精确到秒都不是问题。
刚才说的还都是常规手段,真正让我觉得数据库“妙”的地方在于,很多数据丢失其实根本没到“丢”的程度,只是你找不到它了而已。举一个真实案例,有个客户说他们的员工表整个没了,查了半天,发现是有人误把数据导入到了另一个数据库实例里,数据原封不动地待在那里,只是没人知道。还有一次,一个客户说他们的订单数据全没了,结果发现是时间字段被改成了分钟精度,报表查询的时候按小时分组,看起来就像什么都没了。你以为的天灾,很多时候只是障眼法。
说到这,我得提一下那些“看似没救”的场景。比如磁盘物理损坏,整个盘都咔咔响,这时候千万别瞎折腾,直接找专业的数据恢复公司去做磁盘镜像。只要磁盘没有二次损伤,大部分数据都能从镜像里提出来。再比如误操作了DROP TABLE,在MySQL里确实不能直接恢复,但如果开启了binlog,用binlog2sql工具就能把删除操作反演回去。还有更极端的,整个虚拟机快照都没了,但只要底层存储还在,用数据恢复工具扫描磁盘空闲区域,依然能找回大量残留数据。数据库删除操作留下的“数据碎片”,在专业工具眼里就是一座金矿。
但说一千道一万,恢复手段再高明,也抵不过事前做对几件事。我见过太多惨痛的案例,都是因为备份策略形同虚设。有的公司备份脚本写了,但从没验证过恢复流程,真出事的时候发现备份文件是坏的。有的公司备份倒是天天做,但备份文件放在同一台服务器上,服务器挂了备份也跟着没了。还有的公司做了异地备份,但恢复演练从来没做过,真到用的时候连操作手册都找不到。这些坑,我一个个都踩过,每一个都对应着一场惊心动魄的深夜抢救。
写这篇文章的时候,我刚从一个恢复现场回来。客户那边误删了一张核心业务表,删之前连确认都没确认,等发现的时候已经过了四个小时。我过去之后,先查binlog,找到了精确的删除时间点,然后用工具把删除操作之前的所有事务全部提取出来,重新导入恢复库,再把恢复库跟生产库合并。整个过程不到两小时,数据完整度百分之百。客户握着我的手说“太感谢了”,我说不用谢我,谢你们自己吧——幸好你们当时听了建议,把binlog保留时间从一天延长到了七天。
所以你看,数据丢失这事儿,真不是世界末日。数据库这玩意儿比你想象中抗造得多,它的每一个设计细节,都在为你留后路。但后路留好了,你得知道怎么走。今天说的这些恢复妙招,本质上就一句话:了解你手里的工具,提前做好预案,真出事的时候按部就班操作,数据大概率能回来。当然,最好的妙招还是平时多留个心眼,把备份做扎实,把日志留够时间,把恢复流程演练熟练。毕竟,数据库不会主动给你打电话,但你得确保它打电话的时候,你有能力接住它。


