SeaTunnel

介绍使用 SeaTunnel 的 JDBC OceanBase Source Connector 和 JDBC OceanBase Sink Connector 同步数据。JDBC OceanBase Source Connector 支持对 OceanBase 单表数据的全量读和写。更多信息，参考 JDBC OceanBase Source Connector。JDBC OceanBase Sink Connector 支持对 OceanBase 多表数据的全量读和写。更多信息，参考 JDBC OceanBase Sink Connector。

前提条件

在同步数据前，确认以下信息：

• 您已下载 SeaTunnel。
• 您已安装 Java 1.8 或更高版本。
• 您已配置 config/plugin_config。更多信息，参考 操作步骤。
• 您已开启 OB Cloud MySQL 的 Binlog。更多信息，参考 操作步骤。
• 您已在目标 OB Cloud 数据库中创建需要的表结构，确保它与源数据库相同。

操作步骤

按照以下步骤进行 OB Cloud MySQL 兼容模式租户间的数据同步：

1. 开启 OB Cloud 的 Binlog 服务。

   开启 Binlog 日志服务的路径：实例列表 -> 租户管理 -> Binlog 服务，点击开通即可。更多信息，参考 开通 Binlog 日志服务。

2. 创建 SeaTunnel 用户。

    CREATE USER '用户名'@'%' IDENTIFIED BY '密码';
    GRANT SELECT, INSERT, UPDATE, DELETE ON *.* TO '用户名';
   

3. 配置 config/plugin_config。

4. 下载 OceanBase JDBC 驱动到 lib 目录。更多信息，参考 OceanBase Client。

5. 配置 SeaTunnel。

   修改配置文件 config/ob_to_ob：

   env {
   parallelism = 1
   job.mode = "BATCH"
   }
   
   source {
   # This is a example source plugin **only for test and demonstrate the feature source plugin**
   Jdbc {
       driver = com.oceanbase.jdbc.Driver
       url = "jdbc:oceanbase://e2e_oceanbase_mysql:3306/seatunnel?useUnicode=true&characterEncoding=UTF-8&rewriteBatchedStatements=true&serverTimezone=UTC"
       user = "用户名"
       password = "密码"
       query = "SELECT c_bit_1, c_bit_8 FROM source"
       compatible_mode = "mysql"
   }
   
   # If you would like to get more information about how to configure seatunnel and see full list of source plugins,
   # please go to https://seatunnel.apache.org/docs/connector-v2/source/FakeSource
   }
   
   sink {
   Jdbc {
       driver = com.oceanbase.jdbc.Driver
       url = "jdbc:oceanbase://e2e_oceanbase_mysql:3306/seatunnel?useUnicode=true&characterEncoding=UTF-8&rewriteBatchedStatements=true&serverTimezone=UTC"
       user = "用户名"
       password = "密码"
       query = "insert into sink(c_bit_1, c_bit_8) values (?, ?);"
       compatible_mode = "mysql"
   }
   # If you would like to get more information about how to configure seatunnel and see full list of sink plugins,
   # please go to https://seatunnel.apache.org/docs/connector-v2/sink
   } 
   

6. 启动 SeaTunnel。

   执行以下命令，启动 SeaTunnel：

   ./bin/seatunnel.sh --config ./config/ob_to_ob -e local
   

注意

OB Cloud 不支持 SET 类型。
Caused by: org.apache.seatunnel.api.table.catalog.DataTypeConvertException: ErrorCode:[COMMON-07], ErrorDescription:[Unsupported data type] - Convert type: SET to SeaTunnel data type error.