刚入行那会儿,我管过一台破旧的服务器,上面跑着公司的核心订单库。每天最提心吊胆的时刻,就是下午两点整,因为那是业务方固定跑批量的时间。CPU瞬间飙到100%,磁盘IO直接打满,整个系统像被掐住脖子一样。那时候哪懂什么架构,就靠一句祖传口诀活着:"重启解决不了的,就加索引;索引解决不了的,就上缓存。"直到某天凌晨,那台服务器的硬盘发出一声悲鸣,数据文件损坏,恢复花了整整两天。那两天我抽了半条烟,也第一次认真琢磨一个问题:单机数据库这条腿,到底还能走多远。

单机架构最舒服的地方,也是它最致命的软肋——一切都在自己肚子里。数据文件在本地磁盘,内存缓存也在本地,事务日志顺序写,查询走索引,性能最优。可当数据量跨过某个阈值,比如单表破亿,或者QPS稳定超过几千,问题就变了味。慢查询开始出现,不是SQL写得烂,是索引结构本身就放不下了;磁盘空间告急,清理历史数据的速度赶不上业务增长的速度;更别提突然的硬件故障,哪怕你做了RAID10,硬盘阵列卡也可能成为新的单点。我自己就踩过坑,以为做了主从复制就万事大吉,结果主库的binlog格式没设对,从库同步到一半直接卡死,主库一挂,从库数据落后了四十分钟,那四十分钟的交易记录全找不回来。那时候才意识到,复制不是备份,高可用也不是加一台机器那么简单。
真正逼着我往分布式走,是业务那边提了个需求:要把全量用户行为数据存下来,按天粒度做分析查询。单表几十亿行,任何索引都显得苍白无力。我们尝试过分库分表,用sharding-jdbc按用户ID取模,拆成64张表。一开始挺爽,写入被摊开了,查询也变快了。但问题接踵而至:跨节点的join基本没法写,只能靠应用层拼数据;分页排序要拉全量到内存再排,深分页直接OOM;最头疼的是分布式事务,原来一个本地事务搞定的事,现在要拆成多个子事务,要么用最终一致性自己去补偿,要么引入分布式事务框架,而框架本身的运维复杂度又是一座山。那段时间我手机里存的最多的截图,就是各种分布式事务框架的报错日志,Seata的、TCC的、甚至自己写消息表做异步补偿的。说白了,分库分表只是把单机的压力拆散,但拆散之后的新问题,远比原来的问题更考验人。
后来我们换了思路,不再手动分片,而是引入成熟的分布式数据库中间件,比如MyCAT或者ShardingSphere的Proxy模式。好处显而易见:应用层不需要改动SQL,连接的是个虚拟库,中间件负责路由、合并、聚合。但中间件本身成了新的瓶颈,它的连接数管理、结果集合并逻辑,在极端流量下很容易成为性能黑洞。我还记得一次大促压测,数据库节点CPU才30%,中间件却先把内存撑爆了。而且中间件的配置项之多,什么全局表、ER表、分片策略、一致性级别,每一个参数背后都是一套权衡。更让人崩溃的是,中间件一旦升级或者重启,连接池里的所有长连接全断,应用那边必须做自动重连,否则就是一大片报错。那段时间我们团队的口号是:敬畏中间件,就像敬畏数据库本身。我们把中间件从单点部署升级成集群,用虚拟IP做漂移,才勉强睡个安稳觉。
当然,如果预算和团队能力允许,直接上原生的分布式数据库是更优雅的解法。TiDB就是个典型的例子,它把存储层和计算层分开,存储用Raft协议做多副本,计算层无状态可以随意扩缩容。我第一次在TiDB上做跨数据中心部署测试的时候,感觉整个思路都清晰了:原来事务冲突处理、全局唯一ID、分布式join,这些在中间件方案里需要自己抠的细节,数据库引擎直接帮你消化掉了。但要说没有代价,那是骗人的。TiDB的内存占用比MySQL高不少,同样的查询,在MySQL上跑5毫秒,到了TiDB可能变成20毫秒,因为多了一层分布式事务提交的往返开销。它对硬件的要求也苛刻,SSD是标配,网络延迟超过1毫秒就会影响性能,所以小公司想省钱,用几台普通云主机拼一个TiDB集群,大概率会后悔。分布式数据库解决的是扩展性问题,而不是性能问题,这个认知必须摆正。
抛开技术选型,架构演进中最难的部分,其实是数据迁移。老库里的数据怎么平滑地搬到新架构里,还不能影响在线业务,这是个纯粹的工程问题。我们当时做了个双写方案:旧库和新库同时写入,然后跑一个历史数据回放程序,逐表核对偏移量。听起来简单,做起来全是坑。旧库里的自增主键,新库不一定认;某些字段在旧库是NULL,新库的约束不允许NULL;还有老数据里的特殊字符,在某个字符集下能存,换一个字符集直接报错。最折磨人的是回放过程中出现的数据不一致,你得写一堆对账脚本,去逐条比对两边的记录,找出差异,再决定是人工修复还是重新回放。那个月我们上线了三次,失败了两次,第三次成功的时候,整个团队在会议室里长出一口气。后来复盘时,我们给公司立了条规矩:任何架构升级,必须有可回滚的方案,否则不许动线上。
走到今天再看,数据库部署架构的演进,本质上是把信任从单台机器转移到整个系统。单机时代,我们信任硬件;主从时代,我们信任复制协议;分库分表时代,我们信任路由规则;分布式数据库时代,我们信任共识算法。每一种信任的转移,都是拿更复杂的系统换更可靠的承诺。但别被那些光鲜的架构图忽悠了,真正的生产环境永远是脏活累活:监控告警得自己配,故障演练得定期做,容量规划得提前算。再牛的分布式数据库,也扛不住一个根本没建索引的烂查询——它只会把烂查询的代价从一台机器放大到整个集群,让所有人一起遭殃。所以我特别想对那些还在单机架构里挣扎的同行说一句:别急着上分布式,先把自己的慢查询日志翻出来看看,把索引建对,把缓存用好,把主从复制调顺。架构演进是水到渠成的事,不是赶时髦的装饰。等你真的把单机的潜力榨干了,业务还在催你扩展,那时候再动手,你会感谢前面打下的每一条SQL优化经验。分布式不是终点,它只是又一段需要你细心维护的旅程。


