2024 TiDB AI 创新应用黑客马拉松火热进行中!一起来用 TiDB 构建未来的 AI 创新应用,瓜分超¥220,000 奖金池!
其他
其他
商业咨询
其他
文档
其他
论坛
其他
专栏
其他
课程
其他
活动
其他
排行榜
其他
TiDB User Group
其他
地区活动
其他
贡献者专区
其他
社区准则
其他
私信
sdojjy
V5
没有留下介绍
于 2020-02-14 加入
获赞
3
回答
21
文章
1
徽章
8/79
点亮更多徽章
回答 21
提问 0
文章 1
全部
TICDC 向一表一TOPIC分发数据,经常莫名卡死,不再有新的数据写入
cherry-pick 到 6.5 的 PR 直接被关闭了,改动被包含在这个 PR 里,合到了6.5 分支,
https://github.com/pingcap/tiflow/pull/9100/files#,
需要进一下分析原因。
1 年前
TICDC 向一表一TOPIC分发数据,经常莫名卡死,不再有新的数据写入
可以提供 cdc 卡死时候的堆栈信息吗? 如果可以的话,log 和监控也麻烦提供一下。
1 年前
如何打开这个新特性:TiCDC 同步数据到 Kafka,吞吐从 4000 行每秒提升到 35000 行每秒,复制延迟降低到 2 秒。
ticdc 在 6.5 中对 kafka sink 做了很多性能优化的工作,这些优化不需要配打开。 关于你的报错, 是因为这些参数现阶段要写到 sink-uri 中, 如 --sink-urk “kafka://127.0.0.1:9092/test?max-message-bytes=671088&procotol=canal-json” 正在推进在配置文件中直接支持这些参数
1 年前
TiKV 报错 cdc initialize fail: Sink send error Disconnected
是用 java 写一个 cdc 吗?可以分享一下吗
? 可以参考
专栏 - TiCDC 源码解读(6)- TiCDC Puller 模块介绍 | TiDB 社区
这篇文章来做一些错误处理和region 重连工作。
1 年前
ticdc内存优化
可以导出一下完整的 grafana 监控数据吗?
1 年前
如何查看ticdc创建任务的版本号
感谢反馈, 这是 cdc 6.2 cli 使用 open api v1时引入 的一个 bug, API 没有返回这个字段。 将在
https://github.com/pingcap/tiflow/pull/8729
里修复。 如果目前需要查看 creator version 的话,暂时可以使用如下 API 查看 curl 127.0.0.1:8300/api/v2/changefeeds/<changefeed_id>/meta_info
1 年前
6.5.1 ticdc 同步延迟优化
tikv 有一个配置 min_ts_interval 可以调整resolved ts 的推进频率,不过在大量region的情况下可能会影响 cdc 的性能。 set config tikv `cdc.min_ts_interval`="200ms" 另外可以查看grafana 里 Slow Table 那一项看看在哪一个模块引入的延迟比较大
1 年前
TICDC单个表同步异常,求救!!!
现在 cdc log 里还有大量的 warning 吗? grafana 可以用
[FAQ] Grafana Metrics 页面的导出和导入
这里面提到的方法导出一下
1 年前
TICDC单个表同步异常,求救!!!
[image]
这个图上就有同步到了哪个时间点了 不过你 cdc 的版本比较早了, 可能还有其他未知的 bug
1 年前
TICDC单个表同步异常,求救!!!
应该是 metrics 有异常吧,取了一个 0 时间,猜测是 1970 + 53 = 2023
1 年前
v6.5.0 ticdc同步偶尔存在长时间延迟。重启ticdc之后,立即恢复正常。
不会,同步的进度是保存在 etcd 里的, 重启后会从那个时间点重新拉取数据
1 年前
ticdc读取float数据类型真
https://github.com/pingcap/tiflow/pull/8502
这个PR 会处理这种问题
1 年前
ticdc同步异常owner降级为worker 重新选owner之后 还是不能继续同步
从 log 的信息来看,是 cdc 启动 changefeed 后向 etcd 提交数据一直不成功导致整个同步任务卡住。 请问这个新加的节点就是之前出问题的 owner 节点吗? 和 PD 间的网络通信什么的都是正常吗? 有没有集群在出现这个问题的时候其他节点的 log, 尤其的 owner 的 log 另外 pd 的 log 是否也能上传上来?
2 年前
ticdc到mysql不写数据并且tso不更新
cdc 是自己在不停重启吗? 还是人为重启的?如果是tiup 部署的话可以看看 cdc_stderr.log 这个文件里的内容
2 年前
ticdc到mysql不写数据并且tso不更新
可以发一下 CDC 其他的监控图吗? 比如 Dataflow 这个面板
2 年前
如何只升级cdc节点
如果不考虑 TiCDC 与 TiKV 的版本兼容问题 从你的尝试的报错信息来看,看起来是你的压缩文件里没有 cdc 这个文件。 可以从官方下载下来 wget https://tiup-mirrors.pingcap.com/cdc-v5.3.1-linux-amd64.tar.gz /root/.tiup/bin/tiup cluster patch tidbcluster cdc-v5.3.1-linux-amd64.tar.gz -R cdc
2 年前
每执行一次cdc命令,就创建了一个dbus-daemon进程
cdc 依赖的 pulsar client 引入了 keyring 这个库, 而 keyring 这个库会在 init 函数里就去尝试创建 dbus-daemon 我提了一个
https://github.com/pingcap/tiflow/issues/4926
issue 来修复这个问题
2 年前
每执行一次cdc命令,就创建了一个dbus-daemon进程
没法复现你说的这种情况, 能提供更详细的信息吗?cdc 是从官方下载的吗? [root@copy-of-vm-ee-centos76-v1 5.3]# pwd /root/5.3 [root@copy-of-vm-ee-centos76-v1 5.3]# wget https://tiup-mirrors.pingcap.com/cdc-v5.3.0-linux-amd64.tar.gz --2022-02-18 11:07:02-- https://tiup-mirrors.pingcap.com/cdc-v5.3.0-linux-amd64.tar.gz Resolving tiup-…
2 年前
TiDB 喊你来吐槽了!丰厚奖品等你来拿
增加对外键的支持。
3 年前
没有更多内容了