专栏 - 将 AWS S3 数据迁移至 TiDB Cloud 集群

一、文档目的

在使用 TiDB Cloud 过程中，通常大家面临的第一个难题便是如何将现有集群的数据导入至 TiDB Cloud 集群中，”很幸运“地是 TiDB Cloud 上提供了多种方式可以帮助大家完成这一过程，大家可以自行到官网上查看。本文档提供了将 AWS S3 中数据导入至 TiDB Cloud 集群的操作步骤，供大家参考。

说明：目前在免费的 TiDB Cloud Dev Tier 集群中， Web 界面导入的数据源仅支持 AWS S3 ，支持的数据格式有 4 种：TiDB dumping、Aurora Backup Snapshot、CSV 和 Parquet，本次测试模拟将 AWS S3 中 dumpling 格式的数据导入至 TiDB Cloud 集群，其他的数据格式也是类似方式。

二、在 TiDB Cloud 上创建测试集群

1. 选择免费的 “Developer Tier”

2. 创建测试集群

3. 集群创建成功后，设置本地标准连接

（1）选择 Overview -》选择 Connect -》 Standard Connection

（2）添加本地 IP 地址

（3）测试本地连接成功

三、在 AWS S3 上创建 bucket 并设置权限

1. 在 AWS 中创建 S3 bucket ，并上传 dumpling 导出的文件

（1）获取 s3 bucket 的 ARN （arn:aws:s3:::dumplingtest），后面在 AWS IAM 中创建策略会用到（创建 bucket 过程省略）

（2）在 s3 bucket 中上传 dumpling 工具导出的数据文件（过程省略），放到子目录 testdata 下

说明：测试数据来源为本地集群通过 dumpling 工具导出的 SQL 文件

2. 在 AWS IAM 中创建访问 S3 桶的 policy

（1）创建策略，编写策略规则

填写 S3 bucket 的 ARN 信息： arn:aws:s3:::dumplingtest
权限 s3.GetObject 、s3.GetObjectVersion 和 s3 bucket 中子目录对应
权限 s3.ListBucket 、 s3.GetBucketLocation 和 s3 bucket 对应

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:GetObjectVersion"
            ],
            "Resource": "arn:aws:s3:::dumplingtest/testdata/*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Resource": "arn:aws:s3:::dumplingtest"
        }
    ]
}