平凯数据库敏捷模式体验总结
本次在 TEM 平台体验平凯数据库(TiDB 企业版)敏捷模式,两周内完成从裸机到HTAP集群的完整交付,全程白屏拖拽,耗时不足1小时,真正兑现了“一台机器也能跑分布式”的承诺。
痛点解决:
①开发机资源紧张,1台8C16G虚拟机即可拉起完整TiDB,成本比标准部署降低70%;
②后续扩容无需停机,点击“一键升配”即可把单节点平滑扩为三副本,业务零感知;
③HTAP能力完整保留,白天跑TP交易,夜间同步跑T+0报表,QPS稳定在1.2万,平均延迟<5ms,完全替代原MySQL+ETL+Greenplum三段式架构。
体验亮点:
- TEM的“组件仓库”自动匹配企业版镜像,端口冲突、目录占用均提前预检并给出修改建议;
- Grafana模板内置国密加密、审计合规面板,开箱即用;
- 中控机+共享主机的资源池化设计,让测试-开发-生产环境采用同一套拓扑模板,环境一致性得到保障。
后续计划:
目前已验证1→3节点在线扩容、BR备份恢复、闪回与加密审计,平凯数据库敏捷模式表现符合金融合规要求,Q4将把对账核心库从DB2迁移至敏捷模式,预计节省30%数据库预算。
以下是本次部署体验的流程:
TEM 本地部署安装
1、准备机器等相关软硬件配置
操作系统:CentOS 7.9
部署方式:本地虚拟机 8C 16G
2、部署前准备
关闭防火墙和selinux
下载依赖
yum install -y openssh
yum install -y tar
yum install -y ssh-copy-id
yum install -y scp
3、安装TEM
解压tem-amd64.tar
tar -xvf tem-amd64.tar
cd tem-package-v3.1.0-linux-amd64
ll
编辑元数据库配置文件
vi metadb_topology.yaml
global:
user: "tidb"
ssh_port: 22
deploy_dir: "/tidb-deploy"
data_dir: "/tidb-data"
arch: "amd64"
pd_servers:
- host: 10.0.0.61
tidb_servers:
- host: 10.0.0.61
port: 4000
tikv_servers:
- host: 10.0.0.61
TEM 配置参数 (config.yaml中的db_addresses字段填写的套接字要加4000端口,否则默认3306)
vi config.yaml
global:
user: "tidb"
group: "tidb"
ssh_port: 22
deploy_dir: "/tem-deploy"
data_dir: "/tem-data"
arch: "amd64"
log_level: "info"
enable_tls: false
server_configs: #这里指定tem 节点的全局配置
tem_servers:
db_addresses: "10.0.0.61:4000"
db_u: "root"
db_pwd: ""
db_name: "test"
log_filename: "/tem-deploy/tem-server-8080/log/tem.log"
log_tem_level: "info"
log_max_size: 300
log_max_days: 30
log_max_backups: 0
tem_servers:
- host: "10.0.0.61"
port: 8080
mirror_repo: true # 是否开启镜像仓库,多个TEM节点时,最多只允许一个节点的开启
执行部署TEM命令
使⽤ root 或者具有 sudo 权限的账户执⾏该脚本
./install.sh
安装成功
验证
su - tidb
source /home/tidb/.bash_profile
export TIUP_HOME=/tem-deploy/.tem
tiup -v
使用TEM部署平凯数据库敏捷模式
登录TEM:(http://10.0.0.61:8080/login)
TEM 默认⽤户为 admin, 默认密码为 admin
一、创建添加凭证
1、点击 设置 凭证 主机 添加凭证
2、填写被控主机/中控机的 ssh 登录凭证,点击确认添加
3、已经创建好凭证
二、下载敏捷模式安装包,进行组件管理
1、点击 设置 组件管理 添加组件
2、选择 组件镜像
3、选择本地上传
上传完以后的界面
三、配置中控机
配置集群中控机
1、点击 主机 集群管理中控机 添加中控机
输入对应信息进行添加主机信息
添加后的界面
四、配置集群主机
1、点击 主机 主机 添加共享主机
填写主机信息,点击 预览,预览无误后点击 确认添加
已成功添加主机
五、创建集群
点击 集群 创建集群
Rklink@1024
选择主机规格,选择集群种类:敏捷模式
根据需求选择部署模式为专用或共享
其余选项默认配置即可,点击下一步
规划集群节点:
点击添加节点,进行具体规划
选择组件和要部署的主机后,点击确定,进行下一个组件的添加
注意:
PingKaiDB Fusion:必须添加(节点配额限制为 10)
Grafana:必须添加(才能使用监控功能)
Prometheus 以及Alertmanager:必须添加(才能使用告警功能)
TiFlash:可选(如果需要测试平凯数据库敏捷模式的 HTAP 功能,需要添加)
Pump 和 Drainer 组件:不建议添加
当添加完需要的组件后,点击“回到规划集群节点页面”按钮
点击“下一步”按钮,进行集群节点的配置修改和预检查
修改端口和目录
首先返回服务器查看端口占用情况
netstat -tnlp | grep 9115
netstat -tnlp | grep 9100
ps -ef | grep 62812
ps -ef | grep 62735
然后调整端口,解决端口冲突问题
(官方建议 如果检查时出现端口冲突的问题, 请将端口号修改为一个未使用过的;一般情况下,端口和目录的名称是保持一致的,但如果只改了端口没有改目录,则会出现“目录已存在”的警告,若想覆盖该目录中的数据,则可勾选下面的“预检查选项”。)
配置集群参数和告警
默认参数模版和告警模版即可,点击下一步
预览创建配置,确认无误后点击“创建”按钮启动创建任务
创建过程的具体日志可点击“查看详情”,或在“任务中心”中点击相应的任务进行查看
集群创建并纳管成功
待改进建议:
- 单节点模式下TiFlash与TiKV共用磁盘,若开启HTAP,SSD写入抖动明显,建议后续支持“存算分离”选项;(目前已了解到平凯数据库敏捷模式可以一键扩展至 3 节点 TiDB 标准模式,存算分离架构)
- TEM日志在任务失败时只返回stdout,缺少stderr,排障需登录后台,希望提供一键下载完整日志包。