搞数据库运维的人都知道，这活儿看着不起眼，但真要出点岔子，老板能把你从被窝里薅起来。我刚入行那会儿，带我的师傅扔给我一句话：“监控做得好，睡觉睡得早；故障恢复快，年终奖翻倍。”这么多年下来，越琢磨越觉得这话糙理不糙。数据库运维这事儿，说白了就两个核心：一是提前发现隐患，二是出事能迅速搞定。今天咱就聊聊，从监控到故障恢复，怎么把这套活儿干得漂亮。
先说说监控。很多团队一上来就搞高大上的监控平台，什么 Prometheus、Grafana、Zabbix 全往里面塞，结果看得眼花缭乱，反而抓不住重点。我见过一个团队，监控大屏上挂了三十多个指标：CPU、内存、磁盘、网络、QPS、慢查询、连接数、死锁……但真正出事时，大家盯着屏幕却不知道先看哪个。后来我们重新梳理，只留了五个核心指标：CPU 使用率、磁盘 IO 等待时间、慢查询数量、活跃连接数、缓存命中率。为什么这五个？因为它们直接反映了数据库的“呼吸”状态。CPU 高了可能是 SQL 有问题，IO 等待上去了可能是磁盘扛不住，慢查询多说明索引设计有缺陷，连接数爆了肯定是应用层没做好连接池管理，缓存命中率低了那就是内存白花了。把这些盯死了，基本能覆盖 90% 的日常问题。
但监控不是光看数字，得有阈值和告警策略。阈值设得太低，半夜告警响个不停，运维哥们儿迟早会疯；设得太高，数据库都要挂了才报警，那监控还有什么用？我一般这么干：CPU 使用率设 80% 为警告，95% 为严重；磁盘 IO 等待时间超过 100 毫秒就得查；慢查询超过 10 条/分钟就通报，超过 50 条/分钟直接拉群；连接数根据业务峰值来，平常留 30% 的余量；缓存命中率低于 90% 就优化。告警别搞得太复杂，一条短信加一个群消息就够了，渠道太多反而没人看。
监控到位了，接下来就是故障恢复。这事儿得靠演练，不能光靠纸上谈兵。我经历过一次“惨案”：某电商平台大促前夜，数据库主库突然挂了，备库倒是切了，但数据差了十几分钟，结果补数据补了整整一天。为啥？因为没做过切换演练，不知道主备同步延迟这么严重。从那以后，我规定团队每个月至少做一次故障模拟：主库宕机、磁盘写满、网络分区、慢查询风暴，轮着来。每次演练完都要复盘，把流程写进文档，贴在团队群里，谁都能照着操作。
具体到故障恢复，有一套“三板斧”打法。第一斧：快速止损。不管你多牛逼，先保证业务能用。比如主库挂了，别想原因，先切备库；备库也不行，直接重启或扩容。第二斧：定位根因。别急着修，得搞清楚为什么出问题。看慢查询日志、查系统日志、抓数据库错误日志，必要时上性能分析工具。第三斧：彻底修复。该加索引就加索引，该改配置就改配置，该升级硬件就升级硬件。这套流程走下来，大部分故障半小时内能搞定。
不过，有个坑很多人踩过：故障恢复时手忙脚乱，操作失误反而把问题搞大。比如有一次，某 DBA 发现数据库连接数满了，一慌就重启了数据库，结果重启后数据一致性检查花了两个小时，业务停了三个小时。后来我们规定：任何生产环境操作，必须先写操作步骤，发给至少两个人审核，确认无误再执行。哪怕是一个简单的 “kill -9” 命令，也得说明杀哪个进程、为什么杀、杀完怎么恢复。看着啰嗦，但能救你的命。
再说说数据备份和恢复，这是一道防线。我见过很多公司，备份策略写得天花乱坠，但真到恢复时，发现备份文件坏了、备份不完整，或者没人会操作恢复流程。所以，备份不仅要定期做，还得定期“实战恢复”。我团队的规定是：每周全量备份一次，每天增量备份一次，每季度做一次恢复演练。演练不是简单地把数据 load 进去就完事，得模拟真实场景：比如某个表被误删，只恢复这张表，不碰其他数据；或者整个库崩溃了，从零开始恢复。演练完后，把恢复时间、遇到的坑、优化点都记下来，下次改进。
还有一个容易被忽视的点：文档。很多运维老手觉得“我脑子记得住，不用写”，但真出事时，脑子可能一片空白。我见过最离谱的一次，某 DBA 离职后，新来的同事发现数据库的备份路径、恢复脚本、密码全写在离职 DBA 的私人笔记里，根本找不到。从那以后，我们强制要求所有运维操作必须有文字记录，包括监控配置、故障处理流程、备份恢复步骤、常见问题 FAQ，甚至每个数据库的 IP、端口、账号密码（加密后）都得写清楚。文档放在团队共享空间，谁都能随时查到。
说说心态。数据库运维这事儿，很多时候不是技术问题，而是心态问题。遇到故障，别慌。我见过一个哥们儿，数据库慢查询导致业务卡顿，他一上来就怀疑是硬件问题，直接把服务器重启，结果问题没解决，还造成了二次故障。正确的做法是：冷静下来，按部就班排查。先看系统层面，CPU、内存、IO；再看数据库层面，慢查询、锁等待、连接数；最后看应用层面，是不是有新的 SQL 上线。一步一步来，问题总能找到。
说到底，数据库运维不是靠“灵光一现”就能搞定的，它是个系统工程。监控扎实了，故障恢复练熟了，文档写全了，心态放稳了，你就能从“消防员”变成“保健医生”。下次老板半夜打电话，你不仅能淡定地说“问题已定位，正在修复”，还能顺便问一句：“要不我给您发个复盘报告？”那才叫真本事。
