【TiDB 社区第三届专栏征文大赛】超丰富周边奖励、返场行李箱、BOSE 耳机、SKG颈椎按摩仪、新款冲锋衣等你来拿!
文档
论坛
专栏
活动
课程
排行榜
发现
私信
sdojjy
V5
没有留下介绍
于 2020-02-14 加入
获赞
3
回答
21
文章
1
徽章
8/64
点亮更多徽章
回答 21
提问 0
文章 1
全部
TICDC 向一表一TOPIC分发数据,经常莫名卡死,不再有新的数据写入
cherry-pick 到 6.5 的 PR 直接被关闭了,改动被包含在这个 PR 里,合到了6.5 分支,
https://github.com/pingcap/tiflow/pull/9100/files#,
需要进一下分析原因。
9 个月前
TICDC 向一表一TOPIC分发数据,经常莫名卡死,不再有新的数据写入
可以提供 cdc 卡死时候的堆栈信息吗? 如果可以的话,log 和监控也麻烦提供一下。
9 个月前
如何打开这个新特性:TiCDC 同步数据到 Kafka,吞吐从 4000 行每秒提升到 35000 行每秒,复制延迟降低到 2 秒。
ticdc 在 6.5 中对 kafka sink 做了很多性能优化的工作,这些优化不需要配打开。 关于你的报错, 是因为这些参数现阶段要写到 sink-uri 中, 如 --sink-urk “kafka://127.0.0.1:9092/test?max-message-bytes=671088&procotol=canal-json” 正在推进在配置文件中直接支持这些参数
1 年前
TiKV 报错 cdc initialize fail: Sink send error Disconnected
是用 java 写一个 cdc 吗?可以分享一下吗
? 可以参考
专栏 - TiCDC 源码解读(6)- TiCDC Puller 模块介绍 | TiDB 社区
这篇文章来做一些错误处理和region 重连工作。
1 年前
ticdc内存优化
可以导出一下完整的 grafana 监控数据吗?
1 年前
如何查看ticdc创建任务的版本号
感谢反馈, 这是 cdc 6.2 cli 使用 open api v1时引入 的一个 bug, API 没有返回这个字段。 将在
https://github.com/pingcap/tiflow/pull/8729
里修复。 如果目前需要查看 creator version 的话,暂时可以使用如下 API 查看 curl 127.0.0.1:8300/api/v2/changefeeds/<changefeed_id>/meta_info
1 年前
6.5.1 ticdc 同步延迟优化
tikv 有一个配置 min_ts_interval 可以调整resolved ts 的推进频率,不过在大量region的情况下可能会影响 cdc 的性能。 set config tikv `cdc.min_ts_interval`="200ms" 另外可以查看grafana 里 Slow Table 那一项看看在哪一个模块引入的延迟比较大
1 年前
TICDC单个表同步异常,求救!!!
现在 cdc log 里还有大量的 warning 吗? grafana 可以用
[FAQ] Grafana Metrics 页面的导出和导入
这里面提到的方法导出一下
1 年前
TICDC单个表同步异常,求救!!!
[image]
这个图上就有同步到了哪个时间点了 不过你 cdc 的版本比较早了, 可能还有其他未知的 bug
1 年前
TICDC单个表同步异常,求救!!!
应该是 metrics 有异常吧,取了一个 0 时间,猜测是 1970 + 53 = 2023
1 年前
v6.5.0 ticdc同步偶尔存在长时间延迟。重启ticdc之后,立即恢复正常。
不会,同步的进度是保存在 etcd 里的, 重启后会从那个时间点重新拉取数据
1 年前
ticdc读取float数据类型真
https://github.com/pingcap/tiflow/pull/8502
这个PR 会处理这种问题
1 年前
ticdc同步异常owner降级为worker 重新选owner之后 还是不能继续同步
从 log 的信息来看,是 cdc 启动 changefeed 后向 etcd 提交数据一直不成功导致整个同步任务卡住。 请问这个新加的节点就是之前出问题的 owner 节点吗? 和 PD 间的网络通信什么的都是正常吗? 有没有集群在出现这个问题的时候其他节点的 log, 尤其的 owner 的 log 另外 pd 的 log 是否也能上传上来?
2 年前
ticdc到mysql不写数据并且tso不更新
cdc 是自己在不停重启吗? 还是人为重启的?如果是tiup 部署的话可以看看 cdc_stderr.log 这个文件里的内容
2 年前
ticdc到mysql不写数据并且tso不更新
可以发一下 CDC 其他的监控图吗? 比如 Dataflow 这个面板
2 年前
如何只升级cdc节点
如果不考虑 TiCDC 与 TiKV 的版本兼容问题 从你的尝试的报错信息来看,看起来是你的压缩文件里没有 cdc 这个文件。 可以从官方下载下来 wget https://tiup-mirrors.pingcap.com/cdc-v5.3.1-linux-amd64.tar.gz /root/.tiup/bin/tiup cluster patch tidbcluster cdc-v5.3.1-linux-amd64.tar.gz -R cdc
2 年前
每执行一次cdc命令,就创建了一个dbus-daemon进程
cdc 依赖的 pulsar client 引入了 keyring 这个库, 而 keyring 这个库会在 init 函数里就去尝试创建 dbus-daemon 我提了一个
https://github.com/pingcap/tiflow/issues/4926
issue 来修复这个问题
2 年前
每执行一次cdc命令,就创建了一个dbus-daemon进程
没法复现你说的这种情况, 能提供更详细的信息吗?cdc 是从官方下载的吗? [root@copy-of-vm-ee-centos76-v1 5.3]# pwd /root/5.3 [root@copy-of-vm-ee-centos76-v1 5.3]# wget https://tiup-mirrors.pingcap.com/cdc-v5.3.0-linux-amd64.tar.gz --2022-02-18 11:07:02-- https://tiup-mirrors.pingcap.com/cdc-v5.3.0-linux-amd64.tar.gz Resolving tiup-…
2 年前
TiDB 喊你来吐槽了!丰厚奖品等你来拿
增加对外键的支持。
3 年前
没有更多内容了