【PPT 下载】TiDB 社区交流南京站,面向未来的国产数据库怎么选择?一键 get 从 MySQL/Oracle/SQL Server/Hadoop 到 HTAP 数据库 TiDB 的转型实战!
其他
其他
商业咨询
其他
文档
其他
论坛
其他
专栏
其他
课程
其他
活动
其他
排行榜
其他
TiDB User Group
其他
TiDB 地区组织活动
其他
贡献者专区
其他
社区准则
其他
私信
LingJin
V6
于 2019-11-27 加入
获赞
14
回答
41
文章
2
徽章
9/87
点亮更多徽章
回答 41
提问 0
文章 2
全部
使用ticdc将blob类型的数据写入到kafka后,数据损坏导致无法解码
符合预期,blob 类型的数据,会按照 ISO-8859-1 编码,这是 canal 官方的实现方式。
24 天前
使用ticdc将blob类型的数据写入到kafka后,数据损坏导致无法解码
按照上面提供的方式来解码一下呢。
24 天前
使用ticdc将blob类型的数据写入到kafka后,数据损坏导致无法解码
https://docs.pingcap.com/zh/tidb/stable/ticdc-canal-json/#binary-和-blob-类型
参考上面贴出来的代码,做一下转码
25 天前
cdc发送数据到kafka有空行
[img_v3_02g3_e0af9891-6a0e-49cc-8788-e5f903e4b25g]
[img_v3_02g3_f721e0a8-a038-4953-a933-231e9bfaa42g]
这个问题的原因在这里,是之前的一次开发中引入的,后续重构给修复了。
6 个月前
ticdc发送kafka消息过大
https://stackoverflow.com/a/59730358/6075468
检查一下是否可能是这个情况?
6 个月前
ticdc发送kafka消息过大
是否有可能是其他 service 在往同一个 kafka 集群写数据?
6 个月前
ticdc发送kafka消息过大
麻烦提供一下完整的脱敏的 sink-uri,以及 changefeed 创建配置文件。
6 个月前
ticdc发送kafka消息过大
监控看起来,outgoing bytes 数量很低,这个值是对每一个 request 大小的记录,也就是说发送端实际每次发送的数据大小。
6 个月前
ticdc发送kafka消息过大
提供一下 kafka 相关监控内容呢。
6 个月前
ticdc发送kafka消息过大
你们的数据,最大大小大概在多少?设置到 100mb 的目的是什么? 检查 cdc 日志,是否有 “invalid request size ” 内容,有的话提供一下。
6 个月前
ticdc发送kafka消息过大
请提供一下监控. sink-MQ Sink 部分,尤其是 outgoing bytes 这块儿。
6 个月前
ticdc发送kafka消息过大
错误来自于 nio 层,调大 socket.requet.max.bytes 参数。
6 个月前
ticdc发送kafka消息过大
先不要操作,我们这边还在调查。
6 个月前
ticdc发送kafka消息过大
麻烦提供一下 kafka 的版本号。
6 个月前
ticdc将update拆成delete+insert问题
json 被编码在一起这个问题,和 update 事件拆分逻辑无关。 从 v4.0.13 到 v7.5.3 的过程中,kafka sink 模块经历了重构,其中一项工作,是对于会将多条 events 编码到同一个 kafka message 的协议,会有一个提前赞批的操作,最多一次行赞批 2048 个 events 或者赞批操作耗时超过 15ms。maxwell 属于该种协议。 在编码的时候,maxwell encoder 一次性见到了多条 events,随后就给编码到了一起。
7 个月前
ticdc将update拆成delete+insert问题
用的是什么协议?
7 个月前
TICDC 同步 kafka 异常
你的问题是什么呢?
10 个月前
TICDC 同步 kafka 异常
该问题的核心就是,用户没有配置 max-message-bytes 参数,老版本上默认为 10mb,你这里同步的消息大小,超过了该值,自然就报错了。 符合预期。
https://docs.pingcap.com/zh/tidb/stable/ticdc-sink-to-kafka#最佳实践
10 个月前
7.5.1 版本cdc 参数不兼容
enable-old-value 参数默认为 true,无需进一步设置。 依旧输出 old-value 这应该是一个 bug,需要修复。
1 年前
没有更多内容了