1.TiDB集群

1.1拓扑结构

3副本集群

1.2相关链接

Dashboard:

  http://73.134.46.237:2379/dashboard

Grafana:

  http://73.134.47.53:3000

TiDB集群数据源：

 HAProxy  73.134.47.53:3390   推荐

 Nginx     73.134.47.53:4000

2.接入指引

2.1方案比对

小数据量迁移

    通常数据量较低时，使用 DM 进行迁移较为简单，可直接完成全量+持续增量迁移工作。

 大数据量迁移

    当数据量较大时，DM 较低的数据导入速度 (30~50 GiB/h) 可能令整个迁移周期过长。本文所称“大数据量”通常指 TiB 级别以上。使用 Dumpling 和 TiDB Lightning 进行全量数据迁移，其本地导入 (local backend) 模式导入速度可达每小时 500 GiB。完成全量数据迁移后，再使用 DM 完成增量数据迁移。

2.2方案一Data Migration集群（推荐）

2.3方案二Dumpling和TiDB Lightning

3.Data Migration集群

3.1DM集群拓扑结构

3.2相关链接：

Dashboard:

  http://73.134.47.190:8261/dashboard

Grafana:

  http://73.134.47.190:3000/

3.3离线部署DM集群

a. 制作离线镜像

在外网连通的服务器上使用TiUP工具制作离线镜像

tiup mirror clone tidb-dm-v6.5.0-linux-amd64 --os=linux --arch=amd64 \

    --dm-master=v6.5.0 --dm-worker=v6.5.0 --dmctl=v6.5.0 \

    --alertmanager=v0.17.0 --grafana=v4.0.3 --prometheus=v4.0.3 \

    --tiup=v$(tiup --version|grep 'tiup'|awk -F ' ' '{print $1}') --dm=v$(tiup --version|grep 'tiup'|awk -F ' ' '{print $1}')

b. 设置镜像和环境变量

sh tidb-dm-v6.5.0-linux-amd64/local_install.sh

source /home/tidb/.bash_profile

c. 初始化配置文件

tiup dm template > /data/tidb/topology.yaml

编辑配置文件，其中73.134.47.190部署dm-master、dm-worker

d.执行部署

tiup dm deploy dm-test v6.5.0 /data/tidb/topology.yaml --user tidb -p

e. 验证

tiup dm list

tiup dm display dm-gykj

启动集群

tiup dm start dm-gykj

tiup dm display dm-gykj

3.4数据迁移

a. 加密数据源密码

tiup dmctl -encrypt 'Root#123'

b. 数据源配置

命名规则 mysql-source-${项目简称}.yaml  示例：mysql-source-xahr.yaml

注：在全量数据迁移和增量数据迁移模式下，启动迁移任务时会进行前置检查（上游数据库权限检查、外键、主键或唯一键等等），因此需提供root用户

b.加载数据源配置文件

tiup dmctl --master-addr=73.134.47.190:8261 operate-source create mysql-source-xahr.yaml

查看数据源状态

tiup dmctl --master-addr=73.134.47.190:8261 config source xahr-test

查看数据源和dm-worker的绑定关系

tiup dmctl --master-addr=73.134.47.190:8261 operate-source show xahr-test

c. 编辑迁移任务配置文件

命名规则 task-${项目简称}.yaml  示例：task-xahr.yaml

d. 迁移任务前置检查

检查项：上游字符集、版本、外键、主键或唯一键

        dump权限

        REPLICATION权限、MySQL binlog配置等

tiup dmctl --master-addr=73.134.47.190:8261 check-task task-xahr.yaml

e. 启动迁移任务

tiup dmctl --master-addr=73.134.47.190:8261 start-task ./task-xahr.yaml

f. 验证任务状态

tiup dmctl --master-addr=73.134.47.190:8261 query-status ./task-xahr.yaml

g. 验证全量迁移+增量同步

查询tidb，xahr数据库和对应表数据已同步

增量同步验证

源库创建一个表插入2条数据

Tidb集群xahr库已同步

h. 全量数据迁移校验

i. 增量数据同步校验

tiup dmctl --master-addr=73.134.47.190:8261 validation start --start-time 2023-01-29T15:00:00 --mode full task-xahr

mode:  full 行数据进行每列的比对

       fast 判断行在下游数据库是否存在

       null 不开启

3.5运维管理操作

3.5.1数据源

3.5.2迁移任务

3.5.3迁移增量校验

3.5.4集群运维

3.5.4.1WebUI

通过DM WebUI页面管理迁移任务

前提条件开启OpenAPI

方法一：

拓扑文件中添加如下配置

方法二：

修改集群配置文件

   tiup dm edit-config dm-gykj

重新加载集群

   tiup dm reload dm-gykj -R dm-master

WebUI地址：

http://73.134.47.190:8261/dashboard

3.5.4.2 dmctl

tiup dmctl用来运维DM集群的命令行工具，交互和命令模式

3.5.4.3日常巡检

方法一：dmctl工具查看任务运行状态及错误输出

tiup dmctl --master-addr=73.134.47.190:8261 query-status

方法二：Prometheus和Grafana

通过Prometheus和Grafana查看DM相关监控项

方法三：dm-master和dm-worker日志文件

通过dm-master和dm-worker日志文件查看DM运行状态和相关错误

dm-master

dm-worker

3.5.4.4集群操作

4.Dumpling和TiDB Lightning

4.1Dumpling全量导出

4.1.1安装

在线安装

tiup install dumpling

在线使用

tiup dumpling ...

离线安装

tar -zxvf dumpling-v6.5.0-linux-amd64.tar.gz

4.1.2使用

./dumpling -uroot -pxxxxx -h 73.134.35.132 -P3306 --filetype sql -t 8 -o /data/ywgl/exportfile/xahr  -B xahr

-t 指定导出的线程数，提高导出速度，不超过64

-F 指定单个文件的最大大小，单位MiB

--compress 压缩导出数据

整库导出

./dumpling -uroot -pxxxxx -h 73.134.35.132 -P3306 --filetype sql -t 8 -o /data/ywgl/exportfile/xahr  -B xahr

表导出

./dumpling -uroot -pxxxxx -h 73.134.35.132 -P3306 --filetype sql -t 8 -o /data/ywgl/exportfile/xahr  -T xahr.dict,xahr.dict_type,xahr.sdic_activity_info

筛选数据导出

./dumpling -uroot -pxxxxx -h 73.134.35.132 -P3306 --filetype sql -t 8 -o /data/ywgl/exportfile/xahr  -T xahr.sdic_activity_info --where "id<=7"

参考脚本

dumpling.sh

#!/bin/bash START_TIME=date '+%Y-%m-%d %H:%M:%S' START_TIME_S=date '+%s' DUMPLING_PATH=/data/ywgl/exportfile SOURCE_IP=$1 DATABASE=$2 USER_PWD=$3

if [ -d "$DUMPLING_PATH/$DATABASE" ]; then rm -fr $DUMPLING_PATH/$DATABASE fi

cd /data/tidb-community-toolkit-v6.5.0-linux-amd64

./dumpling -uroot -p$USER_PWD -h $SOURCE_IP -P3306 --filetype sql --compress gzip -t 8 -F256MiB -o $DUMPLING_PATH/$DATABASE -B $DATABASE

END_TIME=date '+%Y-%m-%d %H:%M:%S' END_TIME_S=date '+%s' SUM_TIME=$[$END_TIME_S-$START_TIME_S]

echo "---------------begin:$START_TIME-- end:$END_TIME-- total:$SUM_TIME seconds---------------------"

4.2TiDB Lighning导入数据

4.2.1安装

在线安装

tiup install tidb-lightning

在线使用

tiup dumpling ...

离线安装

tar -zxvf tidb-lightning-v6.5.0-linux-amd64.tar.gz

chmod +x tidb-lightning

4.2.2前置检查

目标TiKV集群的总存储空间必须大于 数据源大小* 副本数量*2

4.2.3使用

编辑配置文件

执行导入

nohup ./tidb-lightning -config /data/ywgl/tidb-lightning-$DATABASE.toml > /dev/null 2>&1 &

参考脚本

lightning.sh

#!/bin/bash TIDB_LIGHTNING_PATH=/data/ywgl/exportfile DATABASE=$1

if [ ! -d "$TIDB_LIGHTNING_PATH/$DATABASE" ]; then echo "$DATABASE文件夹不存在" exit fi

if [ ls "$TIDB_LIGHTNING_PATH/$DATABASE" | wc -l -eq 0 ]; then echo "$DATABASE数据文件为空" fi

cd /data/ywgl cp tidb-lightning-example.toml tidb-lightning-$DATABASE.toml sed -i "s/database/$DATABASE/g" tidb-lightning-$DATABASE.toml cd /data/tidb-community-toolkit-v6.5.0-linux-amd64 nohup ./tidb-lightning -config /data/ywgl/tidb-lightning-$DATABASE.toml > /dev/null 2>&1 & tail -f tidb-lightning-$DATABASE.log

导入监控

5.备份与恢复

5.1安装

安装br

tiup install br

安装minio

Server端

MC客户端

6.学习计划