干了十几年数据活,最怕听到的一句话就是“帮我把这个库迁到那个库”。乍一听简单,真动起手来,字符集、字段类型、主键冲突、大表超时,哪一环都能让你加班到凌晨。直到我用透了Kettle,才敢说数据库迁移这事儿,真能做得又快又稳。这篇东西不聊虚的,全是实战里踩过的坑和总结出的招,你看完直接照做就行。

先说最基础的,Kettle里干迁移,核心就仨组件:表输入、表输出,还有中间那条数据流。很多人上来就建个转换,表输入写SQL,表输出连目标库,一跑就完事。但真这么干,十有八九要出岔子。我见过最典型的错误,是源库和目标库的字段类型对不上,比如源库是,目标库是,数据一长直接报错截断。所以第一步不是急着拖组件,而是先花十分钟,把源库和目标库的表结构拉出来,逐字段比对。类型不一致的,提前在表输出组件里用“字段映射”手动指定转换规则。别嫌麻烦,这一步省下来的,是后面无数次的调试时间。
再一个容易翻车的地方,是大表的迁移效率。几万行的小表,Kettle跑起来跟玩似的,但一上百万行的表,默认设置下速度能慢到你怀疑人生。我处理过一个三千多万行的订单流水表,最开始按默认配置跑,预计要跑十几个小时。后来改了几个关键参数,直接压缩到四十分钟。哪几个参数?第一,表输入的“每一行提交记录数”默认是1000,对大数据量来说太保守,我一般调到5000到100。第二,表输出的“批量插入”必须勾上,而且要手动把“提交记录数”设大,比如5000。第三,如果源库和目标库都是同类型的数据库,比如MySQL到MySQL,记得把表输出的“使用批量插入”和“使用预编译语句”都打开,这俩一开,性能能翻好几倍。
但光调参数还不够,真正让Kettle迁移“高效”的,是它的分页和并行能力。分页怎么做?在表输入里用,然后配合“分页”步骤,让Kettle自动按主键或索引字段切块。这样每批只拉一小部分数据,内存压力小,而且万一中途断了,还能接着上次的进度跑,不用从头再来。并行更简单,把一个大表的数据按某个范围拆成几个子查询,每个子查询放到独立的转换里,再用作业并行调度。比如按月份拆,1到3月一个转换,4到6月一个转换,同时跑,效率直接翻三倍。前提是你目标库的写入能力扛得住,别把人家压垮了。
数据迁移里最烦的,不是数据多,而是数据脏。源库是业务系统,天天有人乱填,什么全角数字、多余空格、日期格式混乱,全都有。如果直接迁过去,目标库的报表出来全是错的,到时候甩锅给你,你哭都来不及。Kettle里有个“字段选择”组件,能对每个字段做清洗规则。我常用的套路是:字符串字段统一加一个函数去空格,数字字段用把全角数字换成半角,日期字段用强制转成标准格式。更高级点的,可以在“JS脚本”里写几行代码,处理那些逻辑复杂的清洗,比如手机号校验、身份证号格式统一。记住一句话:清洗规则宁多勿少,宁可现在多花十分钟写规则,也别等数据迁完了再返工。
还有一类坑,是主键和唯一索引冲突。源库的数据里有重复记录,或者主键是自增的,但目标表已经有部分存量数据。这种时候,直接插入必然报错。我的做法是,在表输出之前加一个“去重”步骤,按主键字段做去重,保留最新的一条。如果目标表有存量数据,那就用“合并记录”步骤,把源数据和目标数据做一次比对,标记出新增、更新、删除,然后分三个流向处理:新增的直接插入,更新的用更新步骤,删除的按需处理。这套流程看起来复杂,但Kettle里全是可视化拖拽,十分钟就能搭好,跑起来却异常稳,比写一堆存储过程靠谱多了。
聊完数据本身,再说说迁移过程中的监控和容错。Kettle转换跑起来,最怕的就是跑一半挂了,然后你不知道挂在哪一步。所以你在设计转换时,一定要把“日志表”功能打开。在作业里配置一个日志数据库,Kettle会记录每一步的启动时间、结束时间、处理行数、错误信息。一旦出问题,直接查日志表,精确到是哪一步、哪一行数据出的错。另外,我习惯在关键步骤后面加一个“空操作”组件,但它不是用来干活的,是当断点用的。在调试阶段,把数据流引到空操作上,可以随时暂停看数据,确认没问题了再把它删掉,接上真正的输出。
跟你分享一个我压箱底的技巧,关于增量迁移。很多场景下,不是一次性把整个库迁过去就完事了,后续还要持续同步。Kettle里做增量,最常用的就是时间戳和自增ID。在表输入里加个条件,比如,然后从目标库查最大的update_time作为参数传进去。用Kettle的“设置变量”和“获取变量”步骤,可以轻松实现这个逻辑。再配合作业的循环调度,比如每隔五分钟跑一次,就能做到准实时的数据同步。这套方案我用了好几年,稳定可靠,比很多商业化工具都好使。
说真的,Kettle这工具,入门容易精通难,但只要掌握了上面这些思路——表结构预检、性能参数调优、分页并行、数据清洗、冲突处理、日志监控、增量同步——数据库迁移对你来说就是个体力活,而不是技术活。别再傻乎乎地写一堆脚本硬怼了,把Kettle的潜力挖出来,你会发现原来要熬几个通宵的活,现在喝杯咖啡的时间就能搞定。工具是死的,思路是活的。


