2
6
5
3
专栏/.../

TiDB 7.x 源码编译之 TiProxy 篇,及尝鲜体验

 ShawnYan  发表于  2023-08-23

tidb-7.x-new-feature-banner.png

TiProxy 简介

TiProxy 是一个基于 Apache 2.0 协议开源的、轻量级的 TiDB 数据库代理,基于 Go 语言编写,支持 MySQL 协议。 TiProxy 支持负载均衡,接收来自应用程序的请求,然后将其发送到 TiDB 集群。支持自动故障转移,当后端 TiDB Server 发生故障,可以自动将连接转移到其他节点,以提高应用程序的可用性。

no-alt

TiProxy 编译

TiProxy 是轻量级组件,编译步骤很简洁,编译环境同前 《TiDB 源码编译之 TiUP 篇》

编译步骤如下:

git clone https://github.com/shawn0915/tiproxy --depth=1
cd tiproxy
go mod download -x
go mod tidy -v
export VERSION='v0.1.1-ShawnYan'
make

日志输出:

$ make
go build -gcflags '' -ldflags ' -X github.com/pingcap/TiProxy/pkg/util/versioninfo.TiProxyVersion=v0.1.1-ShawnYan -X github.com/pingcap/TiProxy/pkg/util/versioninfo.TiProxyGitHash=b944a8fe77a56bd39a7de3bf17d7deb1da039494' -tags '' -o ./bin/tiproxy ./cmd/tiproxy
go build -gcflags '' -ldflags ' -X github.com/pingcap/TiProxy/pkg/util/versioninfo.TiProxyVersion=v0.1.1-ShawnYan -X github.com/pingcap/TiProxy/pkg/util/versioninfo.TiProxyGitHash=b944a8fe77a56bd39a7de3bf17d7deb1da039494' -tags '' -o ./bin/tiproxyctl ./cmd/tiproxyctl

检查版本号:

$ ./bin/tiproxy -v
./bin/tiproxy version v0.1.1-ShawnYan, commit 81f4897fcf859154255adc86f875eda3f7e5c8a0
$ ./bin/tiproxyctl -v
./bin/tiproxyctl version test, commit test commit

这里遇到第一个问题,tiproxyctl 不识别 VERSION 变量,原因是在代码中出现硬编码。(Hard code in tiproxyctl#340)

修改后,版本号获取正常。

$ ./bin/tiproxy -v
./bin/tiproxy version v0.1.1-ShawnYan, commit b944a8fe77a56bd39a7de3bf17d7deb1da039494-dirty
$ ./bin/tiproxyctl -v
./bin/tiproxyctl version v0.1.1-ShawnYan, commit b944a8fe77a56bd39a7de3bf17d7deb1da039494-dirty

TiProxy 尝鲜

TiProxy 的日志格式支持 TiDB 原生格式、json 格式和 console 格式。 下面启动 TiProxy 服务,日志采用 json 格式和 DEBUG 级别。

./bin/tiproxy --config ./conf/proxy.toml --log_encoder console --log_level debug

tiproxy 启动后尝试连接:

mysql --comments --host 127.0.0.1 --port 6000 -u root

值得注意的是,TiDB 服务端与客户端之间默认采用非加密连接 [1],TiDB 启动时默认也不会生成 TLS 证书 [2],但是 tiproxy 启动时默认启用 tls 认证,这里为了简化测试,选择修改默认配置项,不要求配置 tls。

vi conf/proxy.toml

[proxy]
require-backend-tls = false

否则会连接失败,遇到报错:

$ mysql --comments --host 127.0.0.1 --port 6000 -u root
ERROR 1105 (HY000): Unknown error%!(EXTRA string=TiProxy fails to connect to TiDB, please check network)

以及控制台打印日志:

2023/08/23 12:00:27.645 +09:00  INFO    main.proxy      proxy/proxy.go:159      new connection  {"connID": 0, "client_addr": "127.0.0.1:42944"}
2023/08/23 12:00:27.645 +09:00  DEBUG   main.proxy.conn.be.authenticator        backend/authenticator.go:135    frontend send capabilities unsupported by proxy {"connID": 0, "client_addr": "127.0.0.1:42944", "common": "CLIENT_LONG_PASSWORD|CLIENT_LONG_FLAG|CLIENT_LOCAL_FILES|CLIENT_PROTOCOL_41|CLIENT_INTERACTIVE|CLIENT_TRANSACTIONS|CLIENT_SECURE_CONNECTION|CLIENT_MULTI_STATEMENTS|CLIENT_MULTI_RESULTS|CLIENT_PLUGIN_AUTH|CLIENT_CONNECT_ATTS|CLIENT_PLUGIN_AUTH_LENENC_CLIENT_DATA|CLIENT_DEPRECATE_EOF", "frontend": "CLIENT_PS_MULTI_RESULTS|CLIENT_CAN_HANDLE_EXPIRED_PASSWORDS|CLIENT_SESSION_TRACK|CLIENT_QUERY_ATTRIBUTES|MULTI_FACTOR_AUTHENTICATION", "proxy": "CLIENT_FOUND_ROWS|CLIENT_CONNECT_WITH_DB|CLIENT_ODBC|CLIENT_RESERVED"}
2023/08/23 12:00:27.646 +09:00  INFO    main.proxy.conn.be      backend/backend_conn_mgr.go:218 connected to backend    {"connID": 0, "client_addr": "127.0.0.1:42944", "ns": "default", "backend_addr": "127.0.0.1:4000"}
2023/08/23 12:00:27.646 +09:00  DEBUG   main.proxy.conn.be.authenticator        backend/authenticator.go:200    backend does not support capabilities from proxy        {"connID": 0, "client_addr": "127.0.0.1:42944", "common": "CLIENT_LONG_PASSWORD|CLIENT_FOUND_ROWS|CLIENT_LONG_FLAG|CLIENT_CONNECT_WITH_DB|CLIENT_LOCAL_FILES|CLIENT_PROTOCOL_41|CLIENT_INTERACTIVE|CLIENT_TRANSACTIONS|CLIENT_SECURE_CONNECTION|CLIENT_MULTI_STATEMENTS|CLIENT_MULTI_RESULTS|CLIENT_PLUGIN_AUTH|CLIENT_CONNECT_ATTS|CLIENT_DEPRECATE_EOF", "proxy": "CLIENT_ODBC|CLIENT_RESERVED|CLIENT_PLUGIN_AUTH_LENENC_CLIENT_DATA", "backend": "CLIENT_SSL"}
2023/08/23 12:00:27.646 +09:00  INFO    main.proxy.conn client/client_conn.go:61        new connection failed   {"connID": 0, "client_addr": "127.0.0.1:42944", "proxy-protocol": false, "backend_addr": "127.0.0.1:4000", "quit source": "proxy error", "error": "require TLS config on TiProxy when require-backend-tls=true"}

使用 TiUP 启动 TiProxy

TiUP 下个版本应该就会包含这个功能,感谢 @xhebox 大佬的贡献,得以让我们使用 tiup 来调用 tiproxy 组件,这里先抢先体验一下如何使用 tiup playground 启动 tidb 和 tiproxy,当然 tiup cluster 也是支持的。

由于含有该功能代码的 tiup 还没发布,所以需要自行编译 tiup,编译步骤可参考 《TiDB 源码编译之 TiUP 篇》

编译后的 tiup 版本信息如下:

$ tiup --version
1.12.5 tiup
Go Version: go1.21.0
Git Ref: master
GitHash: a9580bd

tiproxy 组件尚未发布到官方的镜像库,所以要想使用 tiup 调度 tiproxy 组件,需要先将 tiproxy 包上传至当前使用的 tiup 镜像库,这里使用的是本地镜像库,使用如下命令进行上传:

tiup mirror publish tiproxy v0.1.1 ./tiproxy.tar.gz tiproxy --desc tiproxy
tiup mirror publish tiproxy nightly ./tiproxy.tar.gz tiproxy --desc tiproxy

具体操作步骤可参考 《TiUP:TiDBAer 必备利器》,提示,需要同时提交 nightly 版本,否则会提示错误信息。

Error: Playground bootstrapping failed: component tiproxy doesn't have nightly version on platform linux/amd64

上述步骤完成后,可以看到 tiup-playground 已经增加了 tiproxy 相关选项。

$ ./tiup-playground --version
tiup version 1.12.5 tiup
Go Version: go1.21.0
Git Ref: master
GitHash: a9580bd

$ ./tiup-playground --help | grep tiproxy
--tiproxy int                      TiProxy instance number
--tiproxy.binpath string           TiProxy instance binary path
--tiproxy.config string            TiProxy instance configuration file
--tiproxy.host host                Playground TiProxy host. If not provided, TiProxy will still use host flag as its host
--tiproxy.port int                 Playground TiProxy port. If not provided, TiProxy will use 6000 as its port
--tiproxy.timeout int              TiProxy max wait time in seconds for starting, 0 means no limit (default 60)

启动演示如下:

tiup playground 7.0 --tag 7.0 --without-monitor --tiflash 0 --tiproxy 1

no-alt

通过端口 6000 连接 tiproxy:

no-alt

到此,tiproxy 已经启动成功,并成功通过 tiproxy 连接到后端 tidb 集群。由于篇幅有限,tiproxy 的功能演示、测试内容另行成文。

期许

1. 源码 repo 命名小写

目前的 repo 名为 [pingcap/TiProxy],建议改为小写 pingcap/tiproxy,统一命名方式。 毕竟是 pingcap/tidb 而非 [pingcap/TiDB],是 tikv/tikv 而非 [tikv/TiKV],是 tikv/pd 而非 [tikv/PD]。

2. tiproxy 端口非 4000

我相信大家已经达成共识,端口 4000 就是 TiDB Server 的默认端口,所以真的不建议在 tiproxy 和 tidb server 同时启动时,将 tidb server 的端口改成其他端口,而将 tiproxy 的端口改成 4000。AskTUG 论坛中有相关贴子:闲聊贴 | 数据库端口的问题

3. tiproxy 可以独立启动

对 TiDB 深入了解的同学都知道,TiDB 的三大核心组件 TiDB Server / TiKV / PD 都可以独立启动。希望 TiProxy 也可以做到这点,不依赖 PD 也可以独立启动,而不是找不到 PD 就原地“躺平”,无时间限制不断重试连接 PD。

[2023/08/22 11:47:46.122 +09:00] [WARN] [main.infosync.etcdcli] [v3@v3.5.6/retry_interceptor.go:62] [retrying of unary invoker failed]  [target=etcd-endpoints://0xc000802380/127.0.0.1:2379] [attempt=0] [error="rpc error: code = DeadlineExceeded desc = latest balancer error: last connection error: connection error: desc = \"transport: Error while dialing dial tcp 127.0.0.1:2379: connect: connection refused\""]
[2023/08/22 11:47:46.122 +09:00] [INFO] [main.infosync.etcdcli] [v3@v3.5.6/client.go:210] [Auto sync endpoints failed.]  [error="context deadline exceeded"]

tiproxy 连接 pd 异常时,通过客户端连接 6000 端口会报错:

$ mysql -uroot -hlocalhost -P6000
ERROR 1105 (HY000): Unknown error%!(EXTRA string=No available TiDB instances, please check TiDB cluster)

4. 包版本升级

建议升级包的版本,比如 【go 1.19】 升级到 【go 1.21】,跟核心组件对齐,参考帖子:【Announcing upgrade to Go 1.21】。

还有其他包,比如:

github.com/go-mysql-org/go-mysql v1.6.0
github.com/pingcap/tidb v1.1.0-beta.0.20230103132820-3ccff46aa3bc
github.com/pingcap/tidb/parser v0.0.0-20230103132820-3ccff46aa3bc

相关 Issue 如,upgrade go-sql-driver/mysql version to v1.7.1#2246

5. 监控面板

TiProxy 已经提供了一些 API 来对其进行管理,但还是期望可以有一个极简的 Web 页面来达到可视化的目的。 毕竟 HAProxy 有 http://localhost:9999/haproxy-status, ProxySQL 也有 http://localhost:6080。 甚至,TiDB Lightning 都有 http://localhost:8289,参见文档:TiDB Lightning Web 界面

6. 操作系统支持

由于 tiproxy 尚未上载到 tiup mirror,所以想要测试 tiproxy 只能从 github repo asset 下载,或者自行编译。测试 github 上的包时发现,在 CentOS 7 上无法运行,相关讨论帖参见:tiproxy 无法使用。 这只是一个点,tiproxy 兼容性测试也要加油啊。

no-alt

7. 编译参数

建议加上 make clean 选项,或者 make file 可以再完善一下,如果能做到像 tiup 那样一个 make 命令搞定就很棒了。(support make clean option#343)

另外,希望将环境变量 GO111MODULE="on" 也写进 make file。

8. 错误日志

error code 建议细化一下,不然使用者真的容易 UNKNOWN

ERROR 1105 (HY000): Unknown error%!(EXTRA string=TiProxy fails to connect to TiDB, please check network)

有些日志的告警级别希望调整一下,比如查询错误现在是 DEBUG,可以改为 WARN,或者单独输出到一个日志文件。

2023/08/22 23:51:33.138 +08:00    DEBUG    main.proxy.conn.be    backend/backend_conn_mgr.go:283    got a mysql error    {"connID": 0, "client_addr": "127.0.0.1:41942", "ns": "default", "error": "ERROR 1105 (HY000): conflict hypo index name hypo_a", "cmd": "Query"}

2023/08/22 23:59:08.745 +08:00    DEBUG    main.proxy.conn.be    backend/backend_conn_mgr.go:283    got a mysql error    {"connID": 0, "client_addr": "127.0.0.1:41942", "ns": "default", "error": "ERROR 8108 (HY000): Unsupported type *ast.DropProcedureStmt", "cmd": "Query"}

此外,开启 DEBUG 日志后,有大量的 main.infosync.etcdcli 日志输出,每 3s 打印一次,建议优化掉。

2023/08/22 23:59:02.799 +08:00    DEBUG    main.infosync.etcdcli    v3@v3.5.6/retry_interceptor.go:53    retrying of unary invoker  {"target": "etcd-endpoints://0xc000980000/127.0.0.1:2379", "attempt": 0}

总结

据说 TiProxy 的云化版本已经用在了 TiDB Cloud 中,期待 TiProxy 早日 GA,并且最终可以到达能够替换 HAProxy 或 ProxySQL 的水准。

附:

no-alt

End.

2
6
5
3

版权声明:本文为 TiDB 社区用户原创文章,遵循 CC BY-NC-SA 4.0 版权协议,转载请附上原文出处链接和本声明。

评论
暂无评论