监控数据库一旦出问题,运维人员的电话就会被值班室打爆。不是磁盘告警,就是写入失败,严重的时候整个监控大屏直接黑掉,所有指标变成一条直线。这种事我经历过不下十次,每次都在半夜,每次都让人想把监控系统重新设计一遍。监控数据库和业务数据库不一样,它写多读少、时序性强、数据量巨大,一旦损坏,修复的紧迫性极高,因为所有告警、容量规划、故障回溯都依赖它。今天就把我这些年踩过的坑和修复流程完整讲一遍。

修复的第一步不是动手,而是确认损坏范围。很多人一看到数据库连不上就急着重启,这非常危险。先看监控系统本身的日志,找到具体的报错信息,是表损坏、索引崩溃,还是数据文件丢失。然后尝试用只读方式连接数据库,执行几条简单的查询,看看哪些表还能读。如果数据库是InfluxDB或TimescaleDB这类时序库,还要检查底层存储引擎的状态。这一步的目的是画出一张损坏地图,知道哪些数据能救、哪些必须放弃。我见过有人直接删库重建,结果把还能恢复的历史数据全丢了,被老板骂了整整一个月。
确认损坏范围之后,立刻做冷备份。不管数据库还能不能读写,先把整个数据目录打包复制到另一块磁盘上。这个操作可能很慢,但绝对不能省。因为后面的修复操作有可能让情况变得更糟,有了这份原始快照,至少还能退回起点。备份的时候要注意权限和文件锁,如果数据库进程还在跑,最好先停掉,用操作系统级别的工具做物理拷贝。别用数据库自带的导出工具,那个过程会触发大量读操作,可能加速损坏。冷备份做完之后,在副本上做修复试验,确认方案有效再动生产环境。
接下来是具体的修复操作。对于关系型监控库比如MySQL或PostgreSQL,常用的手段是或,但时序库比如InfluxDB和Prometheus的TSDB,修复方式完全不同。InfluxDB有系列命令,可以检查TSM文件的完整性,还能导出和重建索引。Prometheus的TSDB如果损坏,通常需要删除一个WAL文件或者用工具做压缩。操作之前一定要查官方文档,别凭记忆执行命令。有一次我在一台老版本InfluxDB上用了新版本的修复参数,结果把元数据搞乱了,只能从备份恢复。
修复完成之后,数据一致性校验是必须做的。监控数据的核心价值在于连续性,如果修复后出现时间戳跳跃或者数值突变,那比数据丢失还可怕,因为会误导告警判断。校验的方法很简单:选几个关键指标,比如CPU使用率、磁盘IO,对比修复前后的数据曲线,看看有没有断点或异常波动。还可以用和做区间统计,和备份前的数据比对。如果发现不一致,要判断是修复过程引入的,还是原本就存在的。这一步花的时间越多,后续的麻烦就越少。
日常运维中,监控数据库的故障其实有规律可循。最常见的三种情况:磁盘写满导致写入失败、WAL文件损坏导致启动崩溃、以及索引膨胀导致查询超时。磁盘写满好解决,加盘或者清理旧数据就行,但要注意保留策略,别把关键历史数据删了。WAL损坏通常发生在非正常关机之后,修复方法是删除损坏的WAL段,但会丢失几秒的数据。索引膨胀是慢性病,需要定期做压缩和重建,建议放在业务低峰期执行。这三种故障占了我处理案例的八成以上,熟悉之后基本能快速定位。
预防永远比修复重要。监控数据库的部署要遵循几个硬性原则:第一,数据目录和WAL目录分开挂载,避免IO争抢;第二,设置合理的保留策略,别让磁盘长期超过70%使用率;第三,开启定期备份,最好是物理备份加逻辑导出双保险;第四,监控数据库自身的健康指标,比如写入延迟、压缩队列长度、文件句柄数。这些指标一旦异常,立刻介入,别等到崩了再救。我现在的习惯是每周检查一次TSDB的压缩状态,每月做一次恢复演练,确保备份真的能用。
回到标题说的全流程,其实核心就四步:确认范围、冷备副本、执行修复、校验一致性。每一步都有坑,每一步都不能省。常见故障的处理也逃不出磁盘、WAL、索引这三个方向。监控数据库是运维的眼睛,眼睛坏了,整个系统就是瞎子。修复能力固然重要,但更好的做法是让数据库别坏。把预防措施做到位,把备份策略落实,把健康监控盯紧,你就能从半夜被叫醒的噩梦里解脱出来。


