您好,欢迎访问数据库运维|优化|安装|迁移|服务官网!
13261661949
10TB超大数据库每秒GB速度备份和还原-数据库恢复-数据库运维|优化|安装|迁移|服务_uDBok.com
联系我们

10TB超大数据库每秒GB速度备份和还原-数据库恢复-数据库运维|优化|安装|迁移|服务_uDBok.com

地址:北京市昌平区高新经济开发区
手机:13261661949

咨询热线13261661949

10TB超大数据库每秒GB速度备份和还原

发布时间:2021-02-11 10:20:32人气:2072
  • [list:title]

作为mysql数据的散布式大型集群替代,TiDB越来越多地被选用。对一个超大的数据库集群,对TB调集数据的备份和复原是一个难点和挑战。最近TiDB 4.0 RC中新增加了一个数据备份和复原东西BR,用来完成对超大规模(10TB)数据库备份和还原能够将备份复原速度提高到1GB/s乃至更高。本文就给虫虫我们介绍TiDB高性能备份复原东西BR。
概述
TiDB是一个与MySQL高度兼容的开放源代码的NewSQL数据库,支撑混合业务处理/剖析处理(HTAP)作业负载。对于大型TiDB集群而言,备份和复原长期以来一直是一个具有挑战性的问题。由于数据散布在不同的节点中,因而TiDB没有一致的物理快照。
Mydumper和myloader是MySQL数据中最常用的数据备份和复原东西。和MySQL协议兼容,所以TiDB中也运用他们进行备份和复原。可是对大型的TiDB数据库mydumper存在严重的短板:它无法合理运用群集资源来提高备份速度。因而会严重影响应用程序恳求乃至会导致TiDB的内存不足(OOM)过错。
依据实践测验数据,TiDB Loader康复1 TB的数据大约需求19个小时。很明显,这样地速度不能满足日常数据高效康复的需求。
因而,虽然能够运用mydumper和Loader做数据备份和康复,但他们在对待大规模数据时候,已经彻底不适应出产需求。因而,TiDB新引入了备份和复原东西BR。
首要原理
BR是用于快速散布式备份和复原TiDB群集数据的指令行东西。与mydumper和Loader比较,BR更适合于TB等级的大规模TiDB数据集。
TiDB的经典体系架构如下图
在TiDB渠道内部,首要组件如下:
TiDB Server是无状况SQL层。
TiKV服务器是数据持久化的散布式业务键值存储层。
Placement Driver(PD)是服务器管理群集。
数据备份
BR的首要完成:水平可伸缩性和强一致性。
1、履行数据备份指令时,会按次序履行一下操作:
首先从 PD 获取相关元数据信息:
当前的 TS 作为备份快照的时刻点
集群的 TiKV 节点信息
2、依据这些数据,在内部发动一个新实例,获取对应TS的数据库或表信息,过程中会疏忽系统数据库information_schema,performance_schema和mysql。
3、备份子指令令依据需求履行如下操作:
全量备份:BR 遍历悉数库表,而且依据这些表构建需求备份的 KV Range
单表备份:BR 依据该表构建需求备份的KV Range
4、最终,BR 将需求备份的KV Range搜集后,构造完好的备份恳求分发给集群内的 TiKV 节点。
数据康复
对数据库康复,BR按次序履行以下使命:
1、解析备份途径下的backupMeta文件,依据解析出来的库表信息,新创建一个实例在新集群创建对应的库表。
2、对解析出来的SST文件,进行表聚合。
3、依据Key Range进行预切分 Region,使得各个Region至少对应一个SST文件。
4、遍历要康复的每一张表和其对应的SST文件。
5、找到Region,发送下载文件的恳求到对应的TiKV节点,下载成功后,发送加载恳求。
6、TiKV 收到加载SST文件的恳求后,运用 Raft 机制保证加载 SST 数据的强一致性。
7、在加载成功后,下载下来的 SST 文件会被异步删去。
完成康复操作后,BR会对康复后的数据校验核算,和备份数据进行对比。
BR运用初步
BR指令是由子指令、选项和参数组成的。一个典型的指令如下:
br backup full --pd "${PDIP}:2379" -s "tmp/backup"
子指令不带-和--的字符(如本例中的backup,full)。选项即以-或许--最初的字符(本例中的-s或许等效的—storage,--pd)。参数即子指令或选项字符后紧跟的、并传递给指令和选项的字符,一般要用引号括住(本例中的
常见子指令
BR 指令由多层构成。BR支撑backup、restore 和 version 三个子指令:
backup 用于备份TiDB集群
restore 用于康复TiDB集群
version 用于显示BR版本信息
以上三个子指令可能还包含下面的一些子指令:
full:可用于全库备份或恢。
db:可用于备份或康复集群中的特定的数据库。
table:可用于备份或康复集群中特定的单张表。
常用选项
--pd:用于连接的选项,表明PD服务地址。
-h/--help:获取一切指令和子指令的运用帮助。比方 br backup --help。
--ca:指定 PEM 格局的受信任CA的证书文件途径。
--cert:指定 PEM 格局的SSL证书文件途径。
--key:指定 PEM 格局的SSL证书密钥文件途径。
--status-addr:BR 向Prometheus供给统计数据的监听地址。
基准测验(10TB)
PingCAP供给了BR备份康复的基准测验,其成果如下图所示
对10 TB数据的群集,BR能够以2.7 GB/s的平均速度(五个TiDB实例的平均548 MB/s)。测验期间的最大速度略高于4 GB/s,每个实例的最大备份速度在770 MB/s至866 MB/s之间。
对10 TB数据集群,康复操作平均速度为0.7 GB/s,五个TiDB实例的平均速度为150 MB/s。在测验过程中,BR的最大存储速度约为1.2 GB/s,每个实例的最大康复速度为247 MB/s至268 MB/s。
备份速度
对两个表的备份,数据在下图中,绿色曲线代表一切TiKV实例的总体备份速度,其他曲线代表每个实例的备份速度。
在11:15和11:28,备份索引数据。由于索引条目很短,因而备份速度会下降。
康复速度
备份后,复原了两个表。绿色曲线代表总体复原速度,其他曲线代表每个TiKV实例的复原速度。
BR将复原使命分为多个子使命,然后按次序履行这些子使命。这样我们能够看到图中的毛病。它们可能是需求进一步优化的潜在问题。
在1:00和1:15,将复原索引数据。由于索引条目很短,所以复原速度会下降。
 

推荐资讯

13261661949