国开数据库这摊子事儿,干过的人都懂——它不像互联网公司那套MySQL、Redis玩得那么溜,也不像银行Oracle集群那样财大气粗。国开体系覆盖全国几十个分部、上千个学习中心,数据从招生、学籍、教务到考试、毕业,全得在数据库里跑。这套系统跑了好些年,版本不算新,架构也谈不上时髦,但胜在稳定。问题是,稳定不等于不出事。恰恰因为平时太安静,一出故障就是大面积停摆,分部那边电话打爆,学生报不了名,教务排不了课。所以今天聊运维实践和故障处理,不是纸上谈兵,是拿真金白银的教训换来的。

先说日常运维最该盯住的三件事。第一是存储空间,国开数据库跑的是教务和学籍数据,每年春秋两季招生一过,数据量猛涨,日志文件也跟着膨胀。很多分部图省事,自动增长设了但没设上限,结果磁盘爆了,数据库直接挂起。正确做法是给数据文件和日志文件分别设上限,每周查一次剩余空间,别等报警了才动手。第二是备份,别光靠系统自带的定时任务,那玩意儿经常因为锁表或者网络问题悄悄失败。我见过一个分部,备份脚本跑了三年没报错,真出事要恢复的时候发现备份文件全是空的。第三是连接数,国开系统并发不高,但架不住有些查询写得烂,一个统计报表能把连接池占满。设个连接数上限,超了就排队,比全部卡死强。
再说性能调优,这事得从索引下手。国开数据库里最常查的是学籍表和成绩表,学籍号、课程号、考试批次这些字段,不加索引就是全表扫描。但索引也不是越多越好,写操作频繁的表,索引多了拖慢插入和更新。有个经验:先开慢查询日志,跑一周,把执行时间超过两秒的语句捞出来,看它们的WHERE条件用了哪些字段,再决定加什么索引。别一上来就凭感觉加,加错了反而更慢。另外,统计信息要定期更新,尤其是招生季前后,数据分布变化大,统计信息过期了,执行计划就会跑偏。
故障处理这块,分几类说。第一类是连接不上,报“ORA-12541”或者“无法连接数据库”。先别急着重启,查监听器状态,看是监听没起来还是端口被占。国开有些分部把数据库和WEB服务装同一台机器,端口冲突是常事。第二类是表空间满了,报“ORA-01653”或者“ORA-01654”。这时候别慌,先查哪个表空间满,如果是临时表空间,多半是排序操作太多,加临时文件就行;如果是用户表空间,得看是数据涨了还是日志没切,该扩就扩,该清就清。第三类是死锁,报“ORA-00060”。这种故障最烦人,因为它是间歇性的。抓死锁得看告警日志,里面会写清楚哪两个会话在抢什么资源。找到后,要么杀掉其中一个会话,要么调整应用逻辑,让它们按固定顺序访问表。
还有一类故障容易被忽略——归档日志把磁盘撑爆。国开数据库大多跑在归档模式,因为要做DataGuard或者只是单纯为了能恢复。但归档日志默认不自动删,得配RMAN备份策略,每天备一次,备完删掉过期归档。我见过一个分部,半年没清归档,磁盘从50%直接干到100%,数据库挂起,只能临时扩盘再清。这个教训值多少钱?停机四小时,分部那边积压了两千多笔报名。
监控和告警得做细。别光看CPU和内存,数据库层面的指标更关键:会话数、等待事件、表空间使用率、归档目录剩余空间、备份任务成功与否。用Zabbix或者Prometheus都行,关键是把阈值设合理。比如表空间使用率到85%就告警,别等到95%才报,那时候可能已经来不及扩了。告警发出来得有人看,别发到群里没人理。最好定个规矩:谁值班谁负责,半小时内响应,处理不了往上转。
说人员。国开数据库运维不是一个人能扛的活儿,但很多分部就一两个人兼着。这种情况下,第一要务是把操作手册写清楚,每一步截图加命令,别指望新人能自己悟。第二是定期做恢复演练,拿备份文件在测试环境恢复一遍,看看能不能跑通。第三是跟上级技术部门保持沟通,遇到搞不定的故障,别硬撑,该求助就求助。国开体系大,总有高手在别的分部踩过坑。
说到底,国开数据库运维没有一招鲜的秘诀,就是日常把空间、备份、索引、监控这四件事做扎实,故障来了按分类排查,别乱重启,别乱删文件。这套系统承载着几十万学生的学籍和成绩,稳字当头。你糊弄它,它迟早糊弄你。把每一次故障都记下来,写成案例,下次再遇到,翻笔记比翻手册快。运维这行,经验比技术值钱,而经验都是从故障里熬出来的。


