0
0
0
0
专栏/.../

dumpling导致pd leader异常切换问题记录

 春风十里不如你  发表于  2025-05-20

一、问题现象

组件 版本
tidb 4.0.12
dumpling 4.0.16

当前数据库版本为v4.0.12,region数大概270w,使用dumpling(v4.0.16)导出时,集群停止服务,检查pd日志发现pd leader 续租失败,发起切换,日志如下:

image.png

image.png

二、问题结论

根据当前集群270w leader region的规模来看,大概率是由于调用tidb的get region api导致pd过载。

查information_schema.TIKV_REGION_STATUS表会调用get region的api。issue为https://github.com/pingcap/tidb/issues/33348

v4.0.13及以后的dumpling版本,在并发导出时会根据information_schema.TIKV_REGION_STATUS表的region分布并行导出。新增代码为https://github.com/pingcap/dumpling/pull/279/commits/d6e5fb4485b6ea0559c1bd5793cdb9f449dfc301#diff-b73252a9db9caaf2cbaa4c57d6ba55c63f2085d4b7867b30fbf8e492f0e568e9

综上,目前绕过的方法为:

1、升级v6.1.0及以上的LTS版本查询information_schema.TIKV_REGION_STATUS表时会根据table_name和db_name提前过滤数据。

2、dumpling导出用v4.0.13以下的版本,且尽量不要查询information_schema.TIKV_REGION_STATUS表。

0
0
0
0

版权声明:本文为 TiDB 社区用户原创文章,遵循 CC BY-NC-SA 4.0 版权协议,转载请附上原文出处链接和本声明。

评论
暂无评论