4
3
5
0
专栏/.../

记一次sst文件损坏修复过程

 像风一样的男子  发表于  2023-07-17

一、背景

【2023-07-14 14:26:28】应用系统报警删除数据失败,查看日志报Region is unavailable,同时企业微信群也收到数据库告警信息。

image.png

image

二、问题定位

首先查看集群进程都正常,登录tidb dashboard查看日志。

image

image

登录tidb节点10.20.10.127 查看详细日志,定位到是region_id是2435254出问题的

image

通过pd-ctl查看region详情

image

发现region正常,通过navicat查询上面删除数据一切正常,手动删除数据也正常,因为这张表插入删除数据很频繁,一度以为是中奖了,正好在region分裂、合并时访问到这个region导致删除失败的。

直到2023-07-15日查看tidb日志发现又有同样情况出现,继续深入查看发现是同一个kv报错,如下截图是日志信息

image

这时候社区大佬提醒是不是有sst文件出现了损坏,建议停止该kv逐个检查sst文件。

三、修复

官方文档提供了修复损坏的 SST的方法。

image.png

根据官方文档提供的命令使用bad-ssts检测有问题的sst文件,尝试使用--data-dir指定data-dir目录报参数错误,使用了tikv-ctl + --db参数后执行正常。

tikv-ctl bad-ssts --db /data/tidb-data/tikv-20160/db --pd 10.20.10.63:2379

image

检查了一个多小时,有10个sst文件需要修复,并列出了操作建议。

image.png

第一步:删除损坏的sst文件

按照上述输出的建议命令执行tikv-ctl ldb --db=/data/tidb-data/tikv-20160/db unsafe_remove_sst_file "/data/tidb-data/tikv-20160/db/10973719.sst",报错:Failed: Failed to parse SST file number /data/tidb-data/tikv-20160/db/10973719.sst 。在社区中查看发现需要使用指定sst的文件号而不是文件名,使用 sst文件号执行成功!

第二步从有问题的tikv上删除sst文件的region peer

tikv-ctl --db=/data/tidb-data/tikv-20160/db tombstone -r 2336448 --pd

该命令同样在--data-dir/--db/--pd参数使用上报错,最后使用tikv-ctl --data-dir=/data/tidb-data/tikv-20160 tombstone -r 2336448 --force处理成功,这里建议官方能把这块的文档完善下(也有可能是我用的版本太老了)。

image

至此官方建议的修复步骤就执行完了,重启tikv节点。

查看之前访问报错的数据已经正常。

然后再看了下kv节点的日志,发现一直在循环刷同一段日志,而且tidb告警信息PD_down_peer_region_nums还是一直在推送。

image

image.png

在pd监控大屏healthregion中发现有82个region处于down_peer_region 状态

通过 pd-ctl 的 region check down-peer查看副本状态为 Down 的 Region,通过region命令查看region的down_peer的store_id 为刚修复的tikv节点。

image

通过pd-ctl operator add remove-peer 2556939 1133876 手动删除tikv中副本

image.png

不用担心region只有2个副本会出问题,pd会自动复制一份副本到其他kv节点。

至此整个修复完成,集群恢复正常。

4
3
5
0

版权声明:本文为 TiDB 社区用户原创文章,遵循 CC BY-NC-SA 4.0 版权协议,转载请附上原文出处链接和本声明。

评论
暂无评论