先讲个真实场景。前阵子帮一家电商公司排查接口慢的问题,订单列表页要3秒多才出数据。翻代码一看,好家伙,一个for循环里套了十几个查询,每个订单查一次库存、查一次优惠、查一次物流。订单量一大,数据库直接被打满,连接池耗尽,整个系统跟着雪崩。这种代码在业务初期跑得挺欢,数据量上来之后就成了定时炸弹。很多人觉得循环查询没啥,不就是多几次网络往返嘛,可数据库最怕的就是这种“细碎”的访问模式,每一次查询都要经历解析SQL、生成执行计划、加锁、刷缓冲池这一整套流程,循环一百次就是一百套开销,性能自然垮掉。

循环查询的性能损耗,得从几个层面拆开看。首先是网络延迟,每次查询都是一次完整的TCP往返,本地可能1毫秒,跨机房就50毫秒起步,循环100次就是5秒,光网络就吃掉大半时间。其次是SQL解析和优化,数据库每次都要重新解析语句、生成执行计划,虽然现在有预编译缓存,但循环里拼接参数的方式很容易让缓存失效。更麻烦的是事务和锁的问题,循环查询通常包在一个事务里,每条查询都会持有连接和锁资源,循环时间越长,锁持有的时间越久,其他请求就得排队等着,系统吞吐量直线下降。还有连接池的隐患,每个循环查询都从连接池拿连接,用完归还,高并发下连接池很容易被占满,新请求直接报获取连接超时。
那怎么优化?最直接的办法就是批量查询。把循环里的查询合并成一条IN查询,一次拿回所有需要的数据。比如上面那个订单列表,可以先查订单主表,收集所有订单ID,然后一次性查库存、查优惠、查物流,在内存里做数据组装。这样数据库的交互从几十次降到几次,性能提升立竿见影。但这里有个坑,IN查询的数据量不能太大,一次塞几千个ID进去,SQL会变得特别长,数据库解析也费劲,而且可能超过某些数据库的参数限制。一般建议单次IN查询控制在500到1000个ID,如果超过就分批查,比如每500个一批,分几批查完。
另一个思路是倒过来,用JOIN代替循环。很多循环查询其实是可以用一条JOIN搞定的,比如查订单和客户信息,完全可以通过订单表JOIN客户表一次查出来,根本不需要循环去查客户表。但JOIN也不是万能药,多表JOIN如果没建好索引,或者表数据量太大,可能会产生临时表、文件排序这些额外的开销,反而比循环更慢。所以用JOIN之前,得先确认关联字段有索引,而且数据量在一个量级上,不然就是从一个坑跳进另一个坑。
还有个更高级的优化手段,叫数据冗余。有时候循环查询是因为业务上需要关联查询多个表,而这些数据其实是相对静态的,比如商品的分类名称、用户的等级名称,这些信息变化频率很低。与其每次循环去查关联表,不如在业务表里直接冗余存储这些字段,查询的时候直接从主表拿,省掉关联查询。这种做法在电商、社交这类读多写少的场景特别有效,但要注意数据一致性,关联表更新的时候,冗余字段也得同步更新,不然就会出现数据对不上的尴尬。
除了改SQL,还得看看是不是代码逻辑的问题。有些循环查询是可以在内存里解决的,比如先查出一张完整的配置表,加载到内存的Map里,循环的时候直接内存取值,根本不用查数据库。这种方案在配置项、字典表这类数据量不大但访问频繁的场景特别适用。还有一种是用了ORM框架的懒加载,比如MyBatis的关联查询,默认是懒加载的,循环里访问关联对象的时候,框架会悄悄发出查询,这就是典型的“隐式循环查询”,代码看起来干干净净,实际跑到数据库的查询次数吓死人。这种情况要在代码里显式关闭懒加载,或者用关联查询一次拉取。
性能优化的另一个维度是异步化。如果循环查询的业务逻辑不要求实时返回,可以考虑用消息队列或者异步任务来处理。比如批量导入数据的时候,需要逐条校验数据的合法性,每条校验都要查数据库,这种情况下可以先把任务丢给后台队列,用多线程或者异步任务去跑,前端不用等着。这种方式能大幅提升用户体验,但要注意异步任务的并发控制,别一下子把数据库打爆了,得用信号量或者限流组件控制并发数。
缓存也是绕不开的话题。循环查询里如果有一部分数据是热点数据,比如热门商品的库存、用户的最近登录时间,完全可以放到Redis这类缓存里。查询的时候先查缓存,缓存没有再去查数据库,然后把数据写回缓存。这样循环查询的大部分请求都打在缓存上,数据库的压力就小多了。但缓存要注意过期策略和缓存穿透问题,比如查一个不存在的商品ID,缓存里没有,每次都打到数据库,这就是缓存穿透,可以用布隆过滤器或者缓存空值来解决。
说说监控和治理。循环查询这种问题,光靠代码审查很难全面发现,得靠监控工具。像数据库的慢查询日志、连接池监控、APM工具,都能帮我们发现那些频繁执行的SQL。一般建议把SQL执行频率、平均耗时、执行次数这些指标做成看板,一旦发现某个SQL的执行次数异常高,就重点排查是不是有循环查询。还有一种办法是设置SQL执行次数的阈值,比如单次请求内执行超过20条SQL就报警,这种硬性指标能逼着开发同学去优化。
回到开头那个电商订单列表的案例。后来我们做了三件事:订单主表一次查出来,然后批量查库存和优惠,物流信息因为接口本身比较慢,改成异步加载。改造之后,接口从3秒多降到了不到300毫秒,数据库的QPS从几千降到了几百,系统稳定多了。这个案例其实很典型,很多性能问题不是数据库不行,而是代码写得太“天真”了。循环查询看着简单直观,但代价全在数据库那边扛着。优化循环查询,本质上就是减少数据库的无效劳动,让每一次查询都物有所值。记住一句话:能用一条SQL解决的,绝不用十条;能在内存里算的,绝不去数据库跑;能缓存的数据,绝不重复查库。做到这几点,你的系统离性能问题就远了一大半。


