博客 - HAProxy 在 TiDB 中的最佳实践

HAProxy 在 TiDB 中的最佳实践

本文介绍 HAProxy 在 TiDB 中的最佳配置和使用方法。HAProxy 提供 TCP 协议下的负载均衡能力，TiDB 客户端通过连接 HAProxy 提供的浮动 IP 即可对数据进行操作，实现 TiDB Server 层的负载均衡。

HAProxy 简介

HAProxy 是由 C 语言编写的自由开放源码的软件，为基于 TCP 和 HTTP 协议的应用程序提供高可用性、负载均衡和代理服务。因为 HAProxy 能够快速、高效使用 CPU 和内存，所以目前使用非常广泛，许多知名网站诸如 GitHub、Bitbucket、Stack Overflow、Reddit、Tumblr、Twitter 和 Tuenti 以及亚马逊网络服务系统都在使用 HAProxy。

HAProxy 由 Linux 内核的核心贡献者 Willy Tarreau 于 2000 年编写，他现在仍然负责该项目的维护，并在开源社区免费提供版本迭代。本文示例使用 HAProxy 2.5.0。推荐使用最新稳定版的 HAProxy，详情见已发布的 HAProxy 版本。

HAProxy 部分核心功能介绍

高可用性：HAProxy 提供优雅关闭服务和无缝切换的高可用功能；
负载均衡：L4 (TCP) 和 L7 (HTTP) 两种负载均衡模式，至少 9 类均衡算法，比如 roundrobin，leastconn，random 等；
健康检查：对 HAProxy 配置的 HTTP 或者 TCP 模式状态进行检查；
会话保持：在应用程序没有提供会话保持功能的情况下，HAProxy 可以提供该项功能；
SSL：支持 HTTPS 通信和解析；
监控与统计：通过 web 页面可以实时监控服务状态以及具体的流量信息。

准备环境

在部署 HAProxy 之前，需准备好以下环境。

硬件要求

根据官方文档，对 HAProxy 的服务器硬件配置有以下建议，也可以根据负载均衡环境进行推算，在此基础上提高服务器配置。

硬件资源	最低配置
CPU	2 核，3.5 GHz
内存	16 GB
存储容量	50 GB（SATA 盘）
网卡	万兆网卡

依赖软件

根据官方文档，对操作系统和依赖包有以下建议，如果通过 yum 源部署安装 HAProxy 软件，依赖包无需单独安装。

操作系统

操作系统版本	架构
Linux 2.4	x86、x86_64、Alpha、SPARC、MIPS 和 PA-RISC
Linux 2.6 或 3.x	x86、x86_64、ARM、SPARC 和 PPC64
Solaris 8 或 9	UltraSPARC II 和 UltraSPARC III
Solaris 10	Opteron 和 UltraSPARC
FreeBSD 4.10 ~ 10	x86
OpenBSD 3.1 及以上版本	i386、AMD64、macppc、Alpha 和 SPARC64
AIX 5.1 ~ 5.3	Power™

依赖包

epel-release
gcc
systemd-devel

执行如下命令安装依赖包：

yum -y install epel-release gcc systemd-devel

部署 HAProxy

HAProxy 配置 Database 负载均衡场景操作简单，以下部署操作具有普遍性，不具有特殊性，建议根据实际场景，个性化配置相关的配置文件。

安装 HAProxy

下载 HAProxy 2.5.0 的源码包：

wget https://github.com/haproxy/haproxy/archive/refs/tags/v2.5.0.zip

解压源码包：
```
unzip v2.5.0.zip
```

从源码编译 HAProxy 应用：

cd haproxy-2.5.0
make clean
make -j 8 TARGET=linux-glibc USE_THREAD=1
make PREFIX=${/app/haproxy} SBINDIR=${/app/haproxy/bin} install # 将 ${/app/haproxy} 和 ${/app/haproxy/bin} 替换为自定义的实际路径。

重新配置 profile 文件：

echo 'export PATH=/app/haproxy/bin:$PATH' >> /etc/profile

检查 HAProxy 是否安装成功：
```
which haproxy
```

HAProxy 命令介绍

执行如下命令查看命令行参数及基本用法：

haproxy --help

参数	说明
`-v`	显示简略的版本信息。
`-vv`	显示详细的版本信息。
`-d`	开启 debug 模式。
`-db`	禁用后台模式和多进程模式。
`-dM [<byte>]`	执行分配内存。
`-V`	启动过程显示配置和轮询信息。
`-D`	开启守护进程模式。
`-C <dir>`	在加载配置文件之前更改目录位置至 `<dir>`。
`-W`	主从模式。
`-q`	静默模式，不输出信息。
`-c`	只检查配置文件并在尝试绑定之前退出。
`-n <limit>`	设置每个进程的最大总连接数为 `<limit>`。
`-m <limit>`	设置所有进程的最大可用内存为 `<limit>`（单位：MB）。
`-N <limit>`	设置单点最大连接数为 `<limit>`，默认为 2000。
`-L <name>`	将本地实例对等名称改为 `<name>`，默认为本地主机名。
`-p <file>`	将 HAProxy 所有子进程的 PID 信息写入 `<file>`。
`-de`	禁止使用 epoll(7)，epoll(7) 仅在 Linux 2.6 和某些定制的 Linux 2.4 系统上可用。
`-dp`	禁止使用 epoll(2)，可改用 select(2)。
`-dS`	禁止使用 splice(2)，splice(2) 在一些旧版 Linux 内核上不可用。
`-dR`	禁止使用 SO_REUSEPORT。
`-dr`	忽略服务器地址解析失败。
`-dV`	禁止在服务器端使用 SSL。
`-sf <pidlist>`	启动后，向 pidlist 中的 PID 发送 `finish` 信号，收到此信号的进程在退出之前将等待所有会话完成，即优雅停止服务。此选项必须最后指定，后跟任意数量的 PID。从技术上讲，SIGTTOU 和 SIGUSR1 都被发送。
`-st <pidlist>`	启动后，向 pidlist 中的 PID 发送 `terminate` 信号，收到此信号的进程将立即终止，关闭所有活动会话。此选项必须最后指定，后跟任意数量的 PID。从技术上讲，SIGTTOU 和 SIGTERM 都被发送。
`-x <unix_socket>`	连接指定的 socket 并从旧进程中获取所有 listening socket，然后，使用这些 socket 而不是绑定新的。
`-S <bind>[,<bind_options>...]`	主从模式下，创建绑定到主进程的 socket，此 socket 可访问每个子进程的 socket。

更多有关 HAProxy 命令参数的信息，可参阅 Management Guide of HAProxy 和 General Commands Manual of HAProxy。

配置 HAProxy

yum 安装过程中会生成配置模版，你也可以根据实际场景自定义配置如下配置项。

global
    log 127.0.0.1 local2
    chroot /var/lib/haproxy
    pidfile /var/run/haproxy.pid
    maxconn 256
    nbthread 48
    user haproxy
    group haproxy
    daemon
    stats socket /var/lib/haproxy/stats

defaults
    log global
    retries 2
    timeout connect 2s
    timeout client 30000s
    timeout server 30000s

listen admin_stats
    bind 0.0.0.0:8080
    mode http
    option httplog
    maxconn 10
    stats refresh 30s
    stats uri /haproxy
    stats realm HAProxy
    stats auth admin:pingcap123
    stats hide-version
    stats admin if TRUE

listen tidb-cluster
    bind 0.0.0.0:3390
    mode tcp
    balance leastconn
    server tidb-1 10.9.18.229:4000 check inter 2000 rise 2 fall 3
    server tidb-2 10.9.39.208:4000 check inter 2000 rise 2 fall 3
    server tidb-3 10.9.64.166:4000 check inter 2000 rise 2 fall 3

启动 HAProxy

要启动 HAProxy，执行 haproxy 命令。默认读取 /etc/haproxy/haproxy.cfg（推荐）。

haproxy -f /etc/haproxy/haproxy.cfg

停止 HAProxy

要停止 HAProxy，使用 kill -9 命令。

执行如下命令：
```
ps -ef | grep haproxy
```
终止 HAProxy 相关的 PID 进程：
```
kill -9 ${haproxy.pid}
```