Greenplum这个名字听起来像某种绿色环保的化学试剂,但它其实是一套基于PostgreSQL打造的大规模并行处理数据库。2005年从开源社区冒出来,后来被EMC收编,再后来跟着Pivotal几经转手,现在归了VMware。折腾归折腾,这套系统在数据仓库圈子里一直没凉过,国内不少银行、运营商、互联网公司拿它扛PB级别的分析查询。想真正掌握它,光会写SQL远远不够,得从架构骨头缝里啃起。

先聊架构。Greenplum的核心就一句话:把数据切碎,让一堆机器一起算。它采用Shared-Nothing架构,一个Master节点管全局,底下挂一群Segment节点。Master不存业务数据,只管接收SQL、生成执行计划、分发任务、汇总结果。Segment才是干活的,每个Segment上跑一个PostgreSQL实例,数据按分布键哈希打散到各个Segment。查询的时候,Master把计划拆成切片,每个切片扔给对应的Segment并行执行,再把结果拉回来。这套机制决定了它的性能天花板和瓶颈点——数据分布不均,某个Segment累死,其他Segment看戏,木桶效应立马显形。
数据分布策略是第一个要盯紧的地方。Greenplum支持哈希分布、随机分布和复制分布。哈希分布最常用,选分布键有讲究:字段基数要够大,数据要均匀,最好经常出现在Join条件里。选错了会怎样?比如拿性别当分布键,两个值,几十个Segment里只有两个在干活,其余全闲着。更麻烦的是数据倾斜,某个Segment磁盘撑爆,查询慢得像蜗牛。随机分布倒是均匀,但Join的时候得广播或者重分布,网络开销蹭蹭涨。复制分布适合小维表,每个Segment存一份,Join直接本地搞定。实战里经常用组合策略:大事实表哈希分布,小维表复制分布。
存储引擎的选择直接影响I/O效率。Greenplum提供堆表存储和AO表存储。堆表就是PostgreSQL那套,适合OLTP场景的频繁更新,但压缩比低,扫描慢。AO表是Append-Optimized,追加写,块级压缩,适合批量导入和全表扫描。AO表又分两种:AO行存和AO列存。行存适合整行读取,列存适合只查少数列的分析场景。列存压缩比能做到1:10甚至更高,扫描时只读需要的列,I/O量断崖式下降。但列存不适合频繁更新,删除和更新会留下空洞,得靠Vacuum清理。实际调优时,事实表用AO列存加压缩,维表用堆表,各取所长。
查询优化器是Greenplum的大脑,基于PostgreSQL的优化器改的,但加了不少并行计算的料。它要决定Join顺序、Join方式、数据移动方式。数据移动是Greenplum特有的开销:Broadcast把小表复制到所有Segment,Redistribute按新键重新打散数据,Gather把结果拉回Master。这三种操作都走网络,能少做就少做。看执行计划用EXPLAIN,重点看有没有Motion节点,Motion越多网络开销越大。有时候加个分布键匹配的Join条件,能省掉一次Redistribute。还有,统计信息必须及时更新,ANALYZE跑少了,优化器估算行数偏差大,选错Join方式,性能直接崩。
资源管理是多人共用集群时的命门。Greenplum自带资源队列和资源组两套机制。资源队列老一些,按队列分配内存和CPU,但粒度粗。资源组新一些,能限制单个查询的并发度和内存上限,还能做CPU配额。生产环境里经常遇到这种情况:一个跑批大查询把内存吃光,其他小查询全卡住。这时候得用资源组把大查询关进笼子,限制它的并发和内存,给小查询留活路。另外,语句级别的内存限制也得设,不然一个HashJoin就能把Segment的内存撑爆,触发OOM,查询直接挂掉。
维护环节最容易被忽视,但出事往往出在这里。Greenplum没有自动Vacuum的完整机制,AO表的空洞得靠手动或者定时脚本清理。系统表膨胀了也得Vacuum,不然查询计划生成越来越慢。还有分布键变更,一旦表大了想改分布键,得重建表,代价极高,所以设计阶段就得想清楚。备份用gpbackup,恢复用gprestore,但备份前最好先跑ANALYZE,不然统计信息不对,恢复后查询计划可能一塌糊涂。监控方面,gp_toolkit提供了一堆视图查倾斜、查空洞、查锁等待,没事多看看,比出事再查强。
说到底,Greenplum不是银弹,它的优势在批量分析、全表扫描、复杂聚合,短板在高频点更新、短事务并发。用对了场景,它能把几十亿行的聚合压到秒级;用错了场景,它比单机PostgreSQL还慢。从架构原理到实战调优,核心就三件事:数据分布均匀、存储格式匹配、资源分配合理。这三件事做好了,Greenplum就是一台数据推土机;做不好,它就是一堆占机架的废铁。掌握它不需要背参数,需要的是理解它怎么切数据、怎么搬数据、怎么算数据,然后顺着它的脾气来。


