3. TiDB 6.0 容灾能力体验
作为数据容灾的关键组件,TiCDC 也迎来了核心能力增强:通过对整个处理增量数据处理过程的优化、控制拉取事务日志速度等方式,TiCDC 在大规模集群数据容灾方面的能力有了长足的进步。
TiCDC 对于增量数据的提取、排序、加载、投递等多个处理流程都进行了优化,降低在处理每一张表的增量数据时所需要使用的 CPU、内存量、减少进程间的通信次数。 这极大地提升了 TiCDC 在大规模集群下同步数据的稳定性、并降低了资源消耗和数据延迟。 真实用户场景测试显示, 6.0 版本的 TiCDC 可以在上游集群的规模达到 100K 张表、集群每秒钟数据改变行数低于 20 K/s、数据改变量低于 20 MB/s 的情况下,确保 99.9% 的数据延迟时间低于 10 秒钟, RTO < 5 分钟,RPO < 10 分钟。就整体而言,在上游集群 TiDB 集群节点进行计划内升级或者停机的场景中,可以将延迟控制在 1 分钟之内。
另外,为了降低数据复制过程中对上游集群的性能影响,保证数据复制过程中业务无感知, TiCDC 增加了对于主集群事务日志扫描的限流功能。在绝大多数情况下,确保TiCDC 对于上游集群的 QPS、 SQL 语句平均响应时间的影响不超过 5%。