使用 AWS Glue 迁移 OceanBase 数据

‌AWS Glue ‌是一个无服务器数据集成服务，旨在帮助用户轻松发现、准备、移动和集成来自多个来源的数据，以支持分析、机器学习和应用程序开发。它提供了全面的数据集成功能，包括数据发现、现代 ETL、数据清理和转换，以及集中式编目，所有这些功能都整合在单一的服务中。AWS Glue 无需用户管理基础设施，支持 ETL、ELT 和流式传输等多种工作负载，并且可以按需扩展，以适应任何数据大小和类型。

本文使用 OceanBase 云数据库。本文将数据从一个 OceanBase 实例迁移到另外一个 OceanBase 实例。要增量迁移时，您须要编写 ETL 的 script 脚本配合定时任务。

使用 Glue 连接 OceanBase 数据库

按照以下步骤，使用 Glue 连接 OceanBase 数据库：

1. 创建 EC2 实例。

2. 设置 AWS S3 VPC 网关端点。

   AWS Glue 不能通过公网 IP 连接数据源，因此本文使用私网 IP 连接 OceanBase 数据库。确保您的 Glue 子网具有 Amazon S3 VPC 网关端点或子网路由表中的 NAT 网关的路由。按照以下步骤，设置 AWS S3 VPC 网关端点：

   1. 打开 Amazon VPC 控制台。在导航窗格中，选择终端节点。

   2. 选择创建终端端点。

   3. 对于服务名称，选择 com.amazonaws.us-east-1.s3。确保 类型 列指示 网关。

      注意

      您必须将 us-east-1 替换为您选择的 AWS 区域。

   4. 对于 VPC，选择要在其中创建端点的 VPC。

   5. 对于配置路由表，系统会自动添加到 S3 VPC 端点的路由。

   6. 对于策略，保留默认选项完全访问。

   7. 选择创建端点。

      端点创建完成后，您可以查看端点详情及子网信息。

      

3. 测试 Glue 连接。

   1. 打开 AWS Glue 控制台，选择 JDBC。
   2. JDBC 使用私网 IP。
   3. 设置 Network Options。子网信息使用第 2 步终端节点配置的子网到 S3 VPC 链路。
   4. 点击 Next 完成创建。
   5. 测试连接。

使用 Glue ETL 任务

按照以下步骤，使用 Glue ETL 任务，并连接 OceanBase 实例，将数据转换到 OceanBase 实例。

1. 添加 OceanBase 源数据库。

   1. 点击 Connections，选择 JDBC 类型。
   2. 填写 OceanBase 数据源信息。
   3. 完成创建。
   4. 测试连接。

2. 添加 OceanBase 目标数据库。

   本文使用 Crawlers 做目标数据库映射。

   1. 点击 Crawlers -> Create Crawler。
   2. 填写 Crawler 信息。
   3. 添加数据源。
   4. 选择 JDBC 连接类型和数据库表。
   5. 点击 Next 和执行用户。
   6. 添加表映射的位置。
   7. 选择数据库完成，点击下一步，完成创建 Crawler。
   8. 在目标数据库提前创建表。
   9. 执行 Crawler，查看表映射信息。

3. 创建 ETL 任务。

   1. 点击 Visual ETL 创建作业。
   2. Source 类型选择 MySQL。
   3. 点击 MySQL 节点，选择 JDBC Source 和 Table Name 预览数据。
   4. 点击Targets，Target 类型选择 MySQL。
   5. 保存并运行任务。
   6. 查看执行结果。