看起来是个兼容性的 bug，在这个 issue 追踪：https://github.com/pingcap/tiflow/issues/10707

[image] 在查询稳定之前，tiflash wn 不断的在做 segment merge。所以可能是由于刚导入完成后 segment 太小有关系。具体原因还要再深入看看

“max-message-bytes 这个我设置的200M” 不能怎么设置呀，已经超过了 sarama（kafka 客户端）的硬限制了

https://docs.pingcap.com/zh/tidb/v7.1/ticdc-faq#ticdc-把数据同步到-kafka-时能在-tidb-中控制单条消息大小的上限吗 max-message-bytes 默认应该是 10MB。所以可能是有的消息本身超过了 100MB。可以通过看 TiCDC 日志，是否存在 Single message is too large for open-protocol 这样的日志

“invalid request size” 这个错误应该是从这里返回的 ： https://github.com/IBM/sarama/blob/25c9c1a880e385781e1a39b49f8e7239e3d5e729/encoder_decoder.go#L35 MaxRequestSize 最大是 100MiB： https://github.com/IBM/sarama/blob/25c9c1a880e385781e1a39b49f8e7239e3d5e729/sarama.go#L106 确实消息大小超过了限制

清理机制大概是这样： 多个 write node 中选一个 gc master 来干活 gc master 定期检查是否有可以删掉的文件，被删掉或者被 compact 的规则是：1. 文件有效率低于 50%（一个文件中可能存在部分数据是已经被删掉了，其他部分还有用）；2. 文件最后一次更改时间距离现在 1hour。 文件删除有两种方法：profiles.default.remote_gc_method。1 代表依赖 S3 Object 的 tagging 和 bucket 的 lifecycle 设置来删除； 2 代表用 S3 的 ListObjects 来自行扫描删除 所以你上面把 w…

瓶颈可能是 sink 写下游慢了。如果下游是 mysql 或者 tidb，尝试加大 worker-count https://docs.pingcap.com/zh/tidb/v6.1/manage-ticdc#sink-uri-配置-mysqltidb

或者这个（包含 tiflash cloud native）： https://github.com/breezewish/terraform-cloud-native-tiflash

可以参考这个工具： https://github.com/breezewish/terraform-up-tidb-aws

从 6.3 开始支持 tiflash replica 和 placement rule 共存，所以可以考虑升级到 LTS 6.5.x

@ShawnYan 我不知道 @tidb菜鸟一只 的资料是哪里来的，看起来像是 chatgpt 生成的（但其实是错误的） 从 6.2 开始 TiFlash 默认升级到 PageStorage V3。已经存在的数据还是继续用 V2，新的数据会写入 V3。所以建议升级之后手动对所有包含 tiflash replica 的表执行一次 alter table xxx compact tiflash replica 参考： https://docs.pingcap.com/zh/tidb/dev/tiflash-620-upgrade-guide#从-v5x-或-v60-升级至-v62 对应的配置是…

你用了 debug 模式编译。做性能测试或者生产，请参考这个脚本： https://github.com/pingcap/tiflash/blob/master/release-centos7-llvm/scripts/build-tiflash-release.sh

应该是不支持 avx2 指令集引起的，参考：https://docs.pingcap.com/zh/tidb/dev/release-6.3.0#其他 如果是虚拟机的话，建议升级一下镜像

编译器的问题，请按照 https://github.com/pingcap/tiflash#1-prepare-prerequisites 这里的要求，对应系统配置一下编译工具

你好，麻烦试一下： 这条出错的 sql 如果强制走 tikv 是什么结果 分别用 tiflash 和 tikv 跑一下 select count(*) 以及麻烦提供一下 tidb 版本号

好的，感谢测试 6.5.0

问下，你的环境是物理机还是虚拟机？从 6.3.0 开始 tiflash 为了性能考虑，不再支持较旧的 cpu 型号，目前遇到的类似问题基本都是用虚拟机导致，需要修改一下虚拟机镜像，支持 avx2 指令集的 @tracy0984

看一下你的 cpu 支持什么指令 cat /proc/cpuinfo | grep flags

麻烦在 tiflash 的部署机器上跑这个命令，看看你的 cpu 是否支持 avx2 指令 cat /proc/cpuinfo | grep avx2 把输出的文本结果贴一下