首批通过分布式安全可靠测评,为关键业务系统打造
使用 Dataphin 同步 OceanBase 数据
更新时间:2026-04-09 14:12:04
概述
Dataphin 是阿里巴巴集团 OneData 数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。 本文介绍如何在 Dataphin 中配置 OceanBase 数据源,实现离线和实时数据集成。
版本兼容性
- OceanBase 数据库版本:≥ V4.2.1。
前提条件
在使用 Dataphin 之前,确认:
- 已有 Dataphin 账号。
- 您已完成部署 OceanBase 数据库并且创建了 MySQL 模式用户租户。创建用户租户的详细信息,参见 创建租户。
- 已在创建的 MySQL 兼容模式租户下开通 Binlog 服务。详情请参见 OceanBase Binlog 服务。
操作步骤
步骤一:获取数据库连接串
联系 OceanBase 数据库部署人员获取连接串,例如:
obclient -h$host -P$port -u$user_name -p$password -D$database_name
参数说明:
$host:连接 IP。ODP 连接用 ODP 地址;直连用 OBServer IP。$port:连接端口。ODP 默认2883;直连默认2881。$database_name:数据库名称。注意
连接租户的用户需要拥有该数据库的
CREATE、INSERT、DROP和SELECT权限。更多有关用户权限的信息,请参见 MySQL 模式下的权限分类。$user_name:连接账户。ODP 格式:用户@租户#集群或集群:租户:用户;直连格式:用户@租户。$password:账户密码。
更多连接串的信息,请参见通过 OBClient 连接 OceanBase 租户。
示例如下:
obclient -hxxx.xxx.xxx.xxx -P2881 -utest_user001@mysql001 -p****** -Dtest
步骤二:配置 Dataphin 计算任务
Dataphin 支持通过 OceanBase 数据源进行离线数据同步,以及通过 MySQL 数据源连接 OceanBase 进行实时数据处理。适用于企业级数据仓库建设、数据湖构建、实时数据分析等场景。
离线计算任务
离线计算任务可直接通过 OceanBase 数据源连接。
- 在 Dataphin 管理中心点击 数据源管理,点击 新建数据源,选择 OceanBase。
- 填写 OceanBase 数据库信息(使用步骤一获取的连接信息),点击 测试连接,确认连接成功。
- 在管理中心点击 数据集成,选择 离线管道 创建任务。
- 选择 手动节点(便于测试)或 周期性节点(用于定期执行)。
- 在组件库中,输入和输出都可以选择已创建的 OceanBase 数据源。
- 配置完成后点击 提交,然后点击 去运维 跳转到研发页面。
- 点击 运行 按钮,执行数据迁移任务。
注意
离线计算每次执行都是全量数据采集。如果数据在目标表中不存在则插入,存在就不再插入。
实时计算任务
实时计算任务需要通过 MySQL 数据源连接 OceanBase,支持全量和增量数据采集。
- 在 Dataphin 管理中心点击 系统设置,点击 实时计算引擎,选择 阿里云实时计算 Flink。
- 点击 数据源管理,点击 新建数据源,选择 MySQL。
- 填写 OceanBase 的连接信息:
| 参数名 | 必填 | 默认值 | 类型 | 说明 |
|---|---|---|---|---|
| JDBC URL | 是 | 无 | 字符串 | jdbc:mysql://$host:$port/$database_name |
| 用户名 | 是 | 无 | 字符串 | $user_name |
| 密码 | 是 | 无 | 字符串 | $password |
| 版本 | 是 | 无 | 字符串 | MySQL 5.6/5.7 |
- 点击 测试连接,确认连接成功。
- 在开发页面点击 + 号,选择 元表,填写元表名称,选择数据源。
- 点击 提交,然后选择 计算任务。
- 新建 Flink SQL 任务,填写相关信息。
- 点击 提交,点击 去运维 跳转到实时计算页面。
- 在实时计算页面,可以进行 Flink SQL 的编辑和执行,实现数据的实时处理。
注意
Dataphin 实时计算不支持直接选择 OceanBase 作为数据源。OceanBase 连接器在 Flink 中只能作为目的表和维表,不能作为源表。