首批通过分布式安全可靠测评,为关键业务系统打造
数据订阅
更新时间:2026-07-03 09:06:30
数据订阅通过变更数据捕获(CDC)从上游持续读取数据库日志(如 MySQL Binlog、OceanBase Binlog 服务等),将增量变更解析、排序或转换后,在目标端回放——常见目标包括 OceanBase、Kafka 以及再由 Flink/自定义消费者写入分析库或宽表。
典型场景:实时同步到 BI/数仓、缓存与搜索引擎刷新、迁移割接期间的增量追平、经 Kafka 做流量削峰与多团队消费、OceanBase Binlog 出湖等。
使用 Canal 订阅 MySQL Binlog
Canal 模拟 MySQL Slave 订阅 Binlog,将行级变更投递到客户端;可配置为直连同步至 OceanBase,或通过 TCP / Kafka / RocketMQ / RabbitMQ 等模式先写入消息系统,再由下游消费并写入目标库(含 OceanBase)。
| 场景 | 说明 | 文档 |
|---|---|---|
| MySQL → OceanBase(Canal) | 基于 MySQL Binlog 解析,增量写入 OceanBase。 | 使用 Canal 从 MySQL 数据库同步数据到 OceanBase 数据库 |
| OceanBase → MySQL(Canal) | 源端需 OceanBase Binlog 服务,将日志以类 MySQL Binlog 形式供订阅。 | 使用 Canal 从 OceanBase 数据库同步数据到 MySQL 数据库 |
| MySQL → OceanBase(CloudCanal) | 社区版管道,同属 Binlog 类同步方案,可与 Canal 对照选型。 | 使用 CloudCanal 从 MySQL 数据库迁移数据到 OceanBase 数据库 |
使用 Flink CDC 订阅多源数据库
Flink CDC 在 Flink 上提供 Database CDC Source,可从多种数据库拉取存量 + 增量,并配合 Flink SQL 做关联、打宽、聚合,再写入 Kafka、JDBC(含 OceanBase)、Hive 等 Sink。适合多源合一、实时加工与Exactly-Once 要求较高的管道。
| 场景 | 说明 | 文档 |
|---|---|---|
| MySQL → OceanBase | MySQL CDC Source,增量同步至 OceanBase。 | 使用 Flink CDC 从 MySQL 数据库同步数据到 OceanBase 数据库 |
| OceanBase → MySQL | 依赖 OceanBase Binlog 服务,在 Flink 中创建 OceanBase CDC 源表。 | 使用 Flink CDC 从 OceanBase 数据库迁移数据到 MySQL 数据库 |
| OceanBase 增量(ChunJun / FlinkX) | 基于 Binlog 服务与 oblogclient 的增量同步框架。 |
使用 ChunJun 从 OceanBase 数据库迁移数据到 MySQL 数据库 |
| StarRocks → OceanBase(Flink 作业) | OceanBase 提供的 Flink 迁移工具,适合与 SR 加工链路基表不一致的场景。 | 使用 Flink-OMT 从 StarRocks 数据库同步数据到 OceanBase 数据库 |
订阅数据写入 Kafka / OceanBase 场景
常见模式是:CDC 或 Canal 解析日志 → 写入 Kafka(缓冲、多订阅)→ Flink/OMS/自研消费者 → 落 OceanBase 或其它存储。也可由 Flink CDC 直接 Sink 到 OceanBase JDBC,省略 Kafka,按吞吐与耦合度取舍。
| 场景 | 说明 | 文档 / 链接 |
|---|---|---|
| TiDB:TiCDC → Kafka → OMS → OceanBase | TiDB 增量经 Kafka 投递,由 OMS 消费写入 OceanBase MySQL 租户(新建数据源需绑定 Kafka)。 | 使用 OMS 迁移 TiDB 数据库到 OceanBase 数据库(MySQL 兼容模式租户) |
| OMS 对接 Kafka / RocketMQ / Datahub | 产品侧支持的下游消息与数据集成形态,可与订阅链路组合。 | 数据迁移概述 · OMS 支持的数据源(迁移方案支持情况表);OMS 使用文档 |
| Canal → Kafka(再消费写 OB) | Canal serverMode 等配置为 kafka 等时,变更先入 Topic,再由消费者写入 OceanBase。 |
使用 Canal 从 MySQL 数据库同步数据到 OceanBase 数据库 |
| Flink CDC → Kafka → 下游 | Flink 将 CDC 流写入 Kafka,供实时数仓、多团队消费;Sink 选型见 Flink 文档。 | Flink Kafka Connector |
| Flink / JDBC 直写 OceanBase | 不经 Kafka,由 Flink JDBC 或 OceanBase 相关 Connector 直接写入内表(与导入、旁路能力配合时注意语义)。 | Flink JDBC SQL Connector;导入侧参见 数据导入概述 |