前期经过迁移大量的测试，终于在2021年开始在公司推广tidb，短短一年时间落地9套集群

tiup、ticdc、dm讲讲

继续学习

数据库自动调优与故障诊断自动处理，初中级DBA即将失业

我要挑战

膜拜各位大佬

有一种方式可以协助定位不一致的数据 你把csv同样的数据导入一份到mysql中，确认导入的数据条数是否一样； 然后通过sync-diff-inspector来对比一下mysql表中的数据和tidb表中的数据的一致性，该工具会列出不一致的数据和条数等 详细可参考：https://docs.pingcap.com/zh/tidb/stable/sync-diff-inspector-overview

需求很强烈，用json存储不规则数据以及明细详细数据等场景

那确认下csv文件的数据格式，我之前遇到过，csv文件数据格式问题导致导入数据不一致的情况

mysqldump应该不能导出tidb数据吧，应该会报错吧； 推荐使用dumping导出，该工具使用屡试不爽

on-duplicate设置的是什么？有设置严格模式吗？ tidb-lightning的配置文件发一下呢？

想要斜挎包

按道理5.4版本应该是支持的，你那边具体的报错信息是啥？

问题已经解决了，下游mysql性能的问题导致的 [image] 感谢@ dba-kit@ 代晓磊_Mars@ ShawnYan@ 蒋明tidb狂热爱好者 各位提供的排查思路

数据一直是有同步的，因为是两个CDC，在另一个cdc节点日志上是可以看到之前数据同步的，qps不为0 [2022/06/27 02:21:00.785 +08:00] [INFO] [statistics.go:126] ["sink replication status"] [name=mysql] [changefeed=xxxx-task] [capture=xx.xx.xx.108:8300] [count=429212] [qps=715] [2022/06/27 02:31:00.789 +08:00] [INFO] [statistics.go:126] ["sink re…

6:34 这个时间，tikv没有任何的异常情况，TiCDC同步延迟从监控看是从早上08:20左右开始逐渐增大的； [image] 而且现在延迟越来越大了

同步的表今天没有做DDL的操作，同步任务状态也是正常的： $ tiup ctl:v5.0.3 cdc changefeed query -s --pd=http://10.30.xx.xx:2379 --changefeed-id=xxxs-sync-task Starting component ctl: /home/tidb/.tiup/components/ctl/v5.0.3/ctl cdc changefeed query -s --pd=http://10.30.xx.xx:2379 --changefeed-id=xxxs-sync-task { “state”: “no…

应该不是不事务，我只同步了一张表，这张表就只有insert操作，Unified Sort on disk一直在增长，而且在不断增加，这个定位不到具体的原因