1 region访问基本流程
tidb在访问key数据时需要获取key所在region的分布信息，在tidb 侧有一个region cache存储region信息，包含region key范围、leader+peer信息、store_id等，每次访问key时先从region cache内查找是否有相应region信息如果没有则从pd读取并放到region cache内。
由于pd或tikv不会主动将最新的region信息告知给tidb，当region发生变化时，比如leader切换、region分裂或合并，或者tikv节点无法访问等，tidb侧的region cache信息可能会过期，此时根据region cache信息访问tikv时由于region的变化tikv会返回一些错误信息，比如not leader、RegionNotFound 、EpochNotMatch 等。tidb会进行backoff,根据tikv返回的错误信息里的内容或从pd更新region信息，尝试使用新的信息访问region。
2 region is unavailable常见原因
region is unavailable 就是tidb 在backoff时由于各种问题导致超过了阈值时间(20秒)而返回的错误。常见的原因有：
1、最大副本数的半数以上tikv或tiflash不可用或同时发生重启，导致raftgroup多副本失败。需要注意的tidb集群允许问题tikv的数量是以副本数的多数可用为准，与运行tikv的主机数量没关系。
2、在backoff时间内没有leader可访问：
(1) Tikv很忙Region 在backoff时间内没有选举出leader；
(2) region已经有问题无法选出leader；
(3) Region split时间过长。
3、 Region split/merge在Follower apply慢的情况下，发生Leader切换后未能在backoff时间内同步到split/merge操作。
4、其他情况：比如版本升级过程不完全、bug等。如：https://docs.pingcap.com/zh/tidb/stable/release-5.3.3
3 排查总结
1、确认问题是偶尔出现还是每次必现。
2、检查是否有多个tikv 或tiflash异常的情况。
tiup cluster display xxx 或查询Information_schema.tikv_store_status
3、检查tikv/tiflash的版本是否一致，状态是否与tiup一致，已缩容节点是否仍可见。
查询Information_schema.tikv_store_status 或 pd-ctl store
4、检查副本数设置max-replicas是否>=3。
pd-ctl config show
5、检查查询的表或使用的索引region是否正常。
explain SQL 检查报错表的执行计划使用索引还是表、走的tikv还是tiflash。
show table xxx regions .
pd-ctl region region_id
正常情况region中peer数应该>=max-replica数量，且其中一个为leader
6、直接查找不正常的region。
(1) 没有leader的region
pd-ctl region --jq='.regions[]|select(has("leader")|not)|{id: .id,peer_stores: [.peers[].store_id]}'
(2) region数小于一定数量的region
pd-ctl region --jq='.regions[] | {id: .id, peer_stores: [.peers[].store_id] | select(length==1) } '
(3) 检查bad region
./tikv-ctl --data-dir /data1/tidb-data/tikv-20160 bad-regions
5.x版本：./tikv-ctl --db /data1/tidb-data/tikv-20160/db bad-regions
7、检查tikv是否出现重启。
监控： TiKV detail -> cluster -> uptime或看memory趋势
8、检查follower apply是否延迟。
监控：TiKV detail -> raft Io -> appply log duration 是否过大
TiKV detail -> raft propose -> appply wait duration 是否过大
9、检查tikv是否出现server busy 或其他错误
监控：TiKV detail -> Erros
10、检查问题region的tikv/pd日志，确认是否有异常信息。
4 一些建议
1、在同一主机部署同一集群的多个tikv实例时一定要将所有tikv设置相同的label，否则会导致同一主机有某些region的多个副本存在，宕机后会出现多副本失败。
2、升级、缩容操作要处理完整。缩容处理流程可参考：
TiKV缩容下线异常处理的三板斧：https://tidb.net/blog/ddef26a5
----------------------------------------------------------------------------------------------------------------------
参考文档： Region is unavailable