写时候的读取是用于冲突等判断 根据之前的 bechmark, 4000w 的数据用 tispark / spark jdbc 应该都是分钟级别的。如果不需要全局事务还是建议 spark jdbc 你现在的并发度是多少，benchmark 里的是 32。如果低了可以增加 executor 数量/核心数来增加并发

应该是设计的时候没有考虑好，我觉得这个参数不应该影响写入。 提了一个 issue，https://github.com/pingcap/tispark/issues/2756。 但这个问题很好规避 fix 不是很急，我有空再搞一下，或者大家有兴趣也可以贡献

这里上下文就是 learner 了 [image]

感觉确实是日志级别不太合适，但不影响正常功能。欢迎在 client-java contribute

spark-sql 还不支持相应 hint，也无法在 spark-sql 中进行语句级别的配置。 目前应该只能： 在配置文件中配置，但这就不是语句级别的 使用 spark-shell/pyspark 等可编程的方式，可以进行语句级别的配置 spark.tispark.isolation_read_engines https://github.com/pingcap/tispark/blob/master/docs/userguide_3.0.md

https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html JDBC 可以参考这里手动进行分区 [image]

我要挑战

还没有支持 unix_timestamp 的分区裁剪。 https://github.com/pingcap/tispark/blob/master/docs/userguide_3.0.md#partition-table-support [image] 可以到 https://github.com/pingcap/tispark/issues 提一个 feature request

分区定义也要改一下，mysql 协议 datetime 类型应该是yyyy-MM-dd HH:mm:ss 这个格式

我查了一下原因，目前 string 转换为 datetime 时，需要为 yyyy-MM-dd HH:mm:ss 的格式。 你可以这样定义：partition p202005 values less than (“2020-06-01 00:00:00”) 参考 https://docs.pingcap.com/zh/tidb/dev/partitioned-table#range-columns-分区 在 TiSpark 3.0 中这样定义仍有问题（bug），在 TiSpark >= 3.1 之后这样定义不再有问题

你好，TiSpark 目前对读取 RANGE COLUMNS 表支持还不够完善 你可以在这里 https://github.com/pingcap/tispark/issues 提一个你使用 RANGE COLUMNS 时遇到的问题。后续解决我们可以在这个 issue 讨论。 另外针对你的问题，在修复之前，你可以暂时使用 RANGE 分区。如下 CREATE TABLE `test`.`range` ( `id` INT ( 11 ) NOT NULL, `ct` datetime NULL DEFAULT NULL ) PARTITION BY RANGE (to_days(ct)) …

这个日志看起来是 driver 端的日志，spark executor 的日志是否有呢。 driver 端打印的日志是重试失败后，打印了最后一次的失败原因 Caused by: com.pingcap.tikv.exception.GrpcException: retry is exhausted. at com.pingcap.tikv.util.ConcreteBackOffer.doBackOffWithMaxSleep(ConcreteBackOffer.java:153) at com.pingcap.tikv.util.ConcreteBackOffer.doBackOff(C…

这个错误是偶发还是必现的呢

这个错误有些类似。试试放到 lib 下是否能解决？https://stackoverflow.com/questions/69862388/how-to-run-spark-sql-thrift-server-in-local-mode-and-connect-to-delta-using-jdbc

https://github.com/pingcap/tispark/pull/2473 或许和这个 pr 有关

你可以暂时先使用 spark jdbc 的方式写入：https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html

看起来有点像数据和索引不一致的问题。 如果是的话曾经由这两个 pr 修复过 https://github.com/pingcap/tispark/pull/2156 https://github.com/pingcap/tispark/pull/2101 建议使用 tispark 2.4.3 看是否能够解决该问题

是否可以帮忙尝试一下 spark 3.2.1 tipsark 3.0.1 tidb 6.1.0 on k8s 是否也有类似问题

打开鉴权的话，理论上无需配置 pd 地址了，但不鉴权，确实会有你说的问题。鉴权是 2.5.0 开始的新特性，还是需要支持不打开向前兼容啊