我们之前的经验,如果是按月分区,提前建好半年的,如果是按天分区也提前建好90天,然后脚本定期去加新的分区,提前建好分区应该不会有这个问题。可以考虑看看。
就这么点资源去做超过2亿表的复杂大SQL,肯定会有问题的,目前来看是面向OLTP业务部署的集群,如果要上大SQL业务,建议要根据业务的实际情况去合理分配资源才行。
Tiflash应对的场景是大量数据的实时分析能力,一般场景下都没问题。
复杂大SQL的实时分析+高并发,这个能力要求其实是很高的,业界能支撑的数据库如果有,我们也想学习了解下。如果仅仅考虑能执行SQL,你可以考虑试用doris、CK、HBASE等,但是这些库你需要先把实时数据迁移过来,迁移的管理成本就会比较高。
TiDB(TiKV+TiFlash)是一个折中的方案,支持实时OLTP+OLAP,即HTAP,集群内部包含行存和列存两种引擎。如果打算采用这个方案,建议先测试验证,然后你可能需要针对性去修改SQL、引入中间表等,降低SQL复杂度,使得满足这个需求。
总之,要看你具体的业务需求和访…
建议先在测试环境对你的模型和SQL进行验证、分析,复杂SQL的查询任务可以用TiFLash 来查询,这个组件就是专门用来处理AP负载的
分区表总体来说还是不错的功能,尤其是在高版本下。你这边不推荐用是什么场景呢?
tiup 在执行命令的时候,去192.169.10.119:22机器执行命令 systemctl daemon-reload && systemctl enable tiflash-9000.service 报错了,本质上是在这台机器上执行它不成功。可以手动去执行看看什么报错,是不是不存在服务 tiflash-9000.service 。
报错里提示很清楚了,是你在执行 chaod工具命令的时候,没有找到对应的依赖库导致报错了
1、建议分层次去排查问题,确认是web服务问题,还是chaod工具问题,还是主机相关的问题。
2、可以到后台先去检查下web服务的运行日志情况,里面应该会有报错信息。
3、然后再chaod命令行工具是否可以正常执行。
分步骤排查和确认
除非是专门的技术领域,不然现在几乎不会去用C做应用的开发了。不管是从技术门槛,还是从相关生态支撑,与人于己于公司,都有很多更好的选择。
磁盘空间用的这么满,要么清理数据/日志,要么扩容吧,没有其他的方法。
贴上报这些错误时tikv节点的监控情况,比如节点的资源使用、事务提交相关的监控面板灯,光看上面的日志分析不出啥来
现在集群的访问是否正常,访问的QPS和延迟情况如何?可以从grafana的TiDB 面板查看到
现在最首要的问题,是需要对全部tikv节点都做检查,如果出现磁盘空间不够的,先清理一些过期日志紧急释放,然后考虑扩容。
一般是建议备份到一个共享存储,比如S3。
你这个是保存到本地吗,如果是的话,到各个tikv节点上去看对应的目录,看看有无数据。