--- title: "创建 OceanBase 数据库至 RocketMQ 的数据同步项目 | OceanBase 文档中心" description: 创建 OceanBase 数据库至 RocketMQ 的数据同步项目 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。OMS 的数据同步功能可以帮助您实现 OceanBase 数据库的物理表和 RocketMQ 数据源之间的数据实时同步，扩展消… --- 切换语言 - 中文站 - 简体中文 - International - English - 日本站 - 日本語 文档反馈![](https://mdn.alipayobjects.com/huamei_22khvb/afts/img/A*L03BS6f-o40AAAAAAAAAAAAADiGDAQ/original) 迁移服务 OMSV 3.3.1 企业版 # 创建 OceanBase 数据库至 RocketMQ 的数据同步项目 更新时间：2023-09-04 16:46:20 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。OMS 的数据同步功能可以帮助您实现 OceanBase 数据库的物理表和 RocketMQ 数据源之间的数据实时同步，扩展消息处理能力。 同步 OceanBase 数据库的数据至 RocketMQ 时，两种租户对应的数据格式请参见 [数据格式说明](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-10000000000496846)。 ## 前提条件 在您的 RocketMQ 实例中，您需要提前创建属性为分区顺序消息的 Topic。 ## 使用限制 - 数据同步的对象仅支持物理表，不支持其它对象。 - 数据同步过程中，OMS 支持删除表之后再新建表，即支持对已经同步的表进行 `DROP TABLE` 操作后，再执行 `CREATE TABLE`。OMS 不支持通过重命名的方式新建表，即不支持执行 `RENAME TABLE a TO a_tmp` 操作。 - 待同步的表名和其中的列名不能包含中文字符。 - 数据源标识和用户账号等，在 OMS 系统内全局唯一。 - OMS 仅支持同步库名、表名为 ASCII 码且不包含特殊字符（.|"'`()=;/&\n）的对象。 - OMS 不支持数据同步过程中，在源端 OceanBase 数据库上创建主键和其它索引。 ## 注意事项 - 当项目意外中断进行断点续传时，RocketMQ 实例中可能会存在部分重复数据（最近一分钟内），因此下游系统需要具备排重能力。 - 节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致增量同步的延迟时间不准确。 例如，如果时钟早于标准时间，可能导致延迟时间为负数。如果时钟晚于标准时间，可能导致延迟。 ## 操作步骤 1. 新建同步项目。 1. 登录 OMS 控制台。 2. 在左侧导航栏，单击 **数据同步**。 3. 在 **数据同步** 页面，单击右上角的 **新建同步项目**。 2. 在 **选择源和目标** 页面，配置各项参数。 | 参数 | 描述 | | --- | --- | | 同步项目名称 | 建议使用中文、数字和字母的组合。名称中不能包含空格，长度不能超过 64 个字符。 | | 标签 | 单击文本框，在下拉列表中选择目标标签。您也可以单击 **管理标签**，进行新建、修改和删除。详情请参见 [通过标签管理数据同步项目](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-10000000000496893)。 | | 源端 | 如果您已创建 OceanBase 物理数据源，请从下拉列表中进行选择。如果未创建，请单击下拉列表中的 **添加数据源**，在右侧对话框进行添加。参数详情请参见 [添加 OceanBase 物理数据源](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-10000000000496941)。 | | 目标端 | 如果您已创建 RocketMQ 数据源，请从下拉列表中进行选择。如果未创建，请单击下拉列表中的 **添加数据源**，在右侧对话框进行添加。参数详情请参见 [添加 RocketMQ 数据源](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-10000000000496905)。 | 3. 单击 **下一步**，在 **选择同步类型** 页面，选择当前数据同步项目的 **同步类型和配置**。 **同步类型和配置** 仅支持 **增量同步** 中的 **数据变更 DML**（包括 `Insert`、`Delete` 和 `Update`）。 4. （可选）单击 **下一步**。 源端为 OceanBase 数据库时，增量同步需要配置 Configurl、用户名和密码。 如果您选择了 **增量同步**，但源端 OceanBase 数据库未配置相应参数，则会弹出 **数据源补充信息** 对话框，提醒您进行配置。参数详情请参见 [添加 OceanBase 物理数据源](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-10000000000496941)。 补充完成后，单击 **测试连通性**。测试连接成功后，单击 **保存**。 5. 单击 **下一步**，在 **选择同步对象** 页面，选择同步范围。 同步 OceanBase 数据库的数据至 RocketMQ 时，支持多表到多 Topic 的同步。 1. 在选择区域左侧选中需要同步的对象。 2. 单击 **>**。 3. 在 **将对象映射至 Topic** 对话框的 **已有 Topic** 下拉列表中，搜索并选中需要同步的 Topic。 您也可以输入已有 Topic 后选中显示的 Topic 名称。 4. 单击 **确定**。 同步 OceanBase 数据库的数据至 RocketMQ 时，OMS 支持通过文本导入对象，并支持对目标端对象进行更改 Topic、设置行过滤、移除单个对象或全部对象等操作。目标端对象的结构为 Topic>DataBase>Table。 | 操作 | 步骤 | | --- | --- | | 导入对象 | 1. 在选择区域的右侧列表中，单击右上角的 **导入对象**。 2. 在对话框中，单击 **确定**。 **注意：** 导入会覆盖之前的操作选择，请谨慎操作。 3. 在 **导入同步对象** 对话框中，导入需要同步的对象。 您可以通过导入 CSV 文件的方式进行库表重命名、设置行过滤条件等操作。详情请参见 [下载和导入同步对象配置](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-10000000000496894)。 4. 单击 **检验合法性**。 5. 通过合法性的检验后，单击 **确定**。 | | 更改 Topic | 1. 在选择区域的右侧列表中，鼠标悬停至目标对象。 2. 单击显示的 **更改 Topic**。 3. 在 **将对象映射至 Topic** 的对话框中，更改需要同步的 Topic。 4. 单击 **确定**。 **注意：** 确定后会将所选 Topic 及表合并至选中 Topic，请谨慎操作。 | | 设置 | OMS 支持 `WHERE` 条件实现行过滤、选择分片列，以及选择需要同步的列。 1. 在选择区域的右侧列表中，鼠标悬停至目标对象。 2. 单击显示的 **设置**。 3. 在 **设置** 对话框中，您可以进行以下操作。 - 在 **行过滤条件** 区域的文本框中，输入标准的 SQL 语句中的 `WHERE` 子句，来配置行过滤。其作用范围为 **全量同步** + **增量同步**。 只有满足 `WHERE` 条件的数据才会被同步至目标数据源，以实现数据的行过滤。 如果语句中包含 SQL 保留关键字，请添加转义符（`）。 - 在 **分片列** 下拉列表中，选择目标分片列。您可以选择多个字段作为分片列，该参数为选填。 选择分片列时，如果没有特殊情况，默认选择主键即可。如果存在主键负载不均衡的情况，请选择唯一性标识且负载相对均衡的字段作为分片列。 请确保分片列的正确性。分片列填写错误，会导致数据同步项目失败。分片列的主要作用如下： - 负载均衡：在目标端可以进行并发写入的情况下，通过分片列区分发送消息需要使用的特定线程。 - 有序性：由于存在并发写入可能导致的无序问题，OMS 确保在分片列的值相同的情况下，用户接收到的消息是有序的。此处的有序是指变更顺序（DML 对于一列的执行顺序）。 4. 在 **选择列** 区域，选择需要同步的列。全选或不勾选任何列，OMS 会同步全部列。 5. 单击 **确定**。 | | 移除/全部移除 | OMS 支持在数据映射时，对暂时选中到目标端的单个或多个对象进行移除操作。 - 移除单个同步对象 在选择区域的右侧列表中，鼠标悬停至目标对象，单击显示的 **移除**，即可移除该同步对象。 - 移除全部同步对象 在选择区域的右侧列表中，单击右上角的 **全部移除**。在对话框中，单击 **确定**，即可移除全部同步对象。 | 6. 单击 **下一步**，在 **同步选项** 页面，配置各项参数。 | 参数 | 描述 | | --- | --- | | 增量同步起始位点 | 指定同步某个时间节点之后的数据，默认为当前系统时间。您可以选择时间节点，也可以直接输入时间戳。 **注意：** 仅支持选择当前时间，或当前时间之前的时间点。 该位点与当前归档日志的保留时间密切相关。如果无特殊要求，可以从当前位点开始启动。 | | 序列化方式 | 控制数据同步至 RocketMQ 的消息格式，目前支持 **Default**、**Canal**、**Dataworks**（支持 2.0 版本）、**SharePlex** 和 **DefaultExtendColumnType**。详情请参见 [数据格式说明](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-10000000000496846)。 | | 开启事务内序号编排 | 根据需求，设置是否开启事务内保持排序。如果开启，OMS 可以为一个事务发送至下游进行顺序标识。 **注意：** 该参数仅对 **SharePlex** 格式生效，目的是为了确保您能够获取构成交易的 DML 语句的序号。 例如，在同一交易内包含 10 条 DML 语句（顺序为 1，2，3...10），则 OMS 会按照 1，2，3 ...10 的顺序投递至目标端。 该选项会有性能损耗，请根据业务性质选择性开启。 | | 分区规则 | 同步源端数据至 RocketMQ 的规则，目前仅支持 **Hash**。 **Hash** 表示 OMS 使用一定的 Hash 算法，根据主键值或分片列值 Hash 选择 RocketMQ 的 MQ。 | | 业务系统标识（可选） | 用于标识数据的业务系统来源，以便您后续进行自定义处理。该业务系统标识的长度限制为 1~20 个字符。 | | 请输入生产者群组 | 生产者群组用于标识一组生产者，能够向多个 Topic 中写入数据。 | | 是否允许消息追踪 | 如果允许消息追踪，则可以追踪到一条消息从生产者发送到消息队列 RocketMQ 版服务端，再到消费者消费处理，整个过程中的各个相关节点的时间、状态等数据汇聚而成的完整链路信息。该消息轨迹可以作为生产环境中排查问题强有力的数据支持。 | 7. 单击 **预检查**。 在 **预检查** 环节，OMS 会检测和目标端的连接情况。如果预检查报错，请排查并处理问题后，重新执行预检查，直至预检查成功。 8. 单击 **启动项目**。 如果您暂时无需启动项目，请单击 **保存**，跳转至数据同步项目的详情页面，您可以根据需要手动启动数据同步项目。如果您需要查看详情，请参见 [查看数据同步项目的详情](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-10000000000496890)。 上一篇 下一篇 ![有帮助](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*y6ocSqN8cqsAAAAAAAAAAAAAARQnAQ)![无帮助](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*BG9IQJyLHF8AAAAAAAAAAAAAARQnAQ)![反馈](https://gw.alipayobjects.com/mdn/ob_asset/afts/img/A*eTWdQKCRKHwAAAAAAAAAAAAAARQnAQ)[AI](https://www.oceanbase.com/obi) 咨询热线