创建 Oracle 数据库至 DataHub 的数据同步项目

阿里云流数据处理平台 DataHub 是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。

使用限制

不支持表中全部列均为 LOB 类型的增量数据同步。
Oracle 的无主键表必须设置分片列，才能正常同步至 DataHub。
如果 Oracle 使用生成列，OMS 当前不会解析生成列的实际数值。因此，同步至 DataHub 时，对应的值为 NULL。
数据源标识和用户账号等，在 OMS 系统内全局唯一。
Oracle 数据库至 DataHub 的增量同步中，Oracle 数据库 12C 及以上版本在新增或变更列时，表名和列名不能超过 30 个字节。

如果您需要同步超过 30 个字节的数据库对象，请进行以下操作：
1. 以 SYS 账号修改 Oracle 数据库的参数。
```
ALTER SYSTEM SET ENABLE_GOLDENGATE_REPLICATION=true SCOPE=BOTH;
```
  注意
  - 如果 Oracle 是 RAC，则所有的 Oracle 实例均需要修改。该操作无需重启 Oracle 数据库。
  - 修改 ENABLE_GOLDENGATE_REPLICATION 参数时，Oracle 数据库需要具备 OGG License（无需安装 OGG）。
2. 对于每个 Oracle 实例交替的执行 3 次下述命令。
```
ALTER SYSTEM SWITCH LOGFILE;
```
3. 10 分钟后，重新创建数据迁移项目。
4. 修改 Store 组件的配置 deliver2store.logminer.need_check_object_length 为 false。
配置完成后，您可以执行下述命令查询 ENABLE_GOLDENGATE_REPLICATION 参数。
```
SELECT K.KSPPINM,V.KSPPSTVL FROM SYS.X$KSPPI K,SYS.X$KSPPSV V WHERE K.INDX=V.INDX AND UPPER(K.KSPPINM) = 'ENABLE_GOLDENGATE_REPLICATION'; 
```

注意事项

当录入的 Oracle 数据库为单备库或主备库模式时，如果 Oracle 主库和备库的运行实例数不同，可能导致少拉取某些实例的增量日志。您需要手动设置 Store 组件的参数，以指定增量从备库拉取时需要拉取的实例的增量日志。操作方式如下：
1. Store 组件启动后马上将其停止。
2. 在 Store 组件的 更新配置 页面，新增参数 deliver2store.logminer.instance_threads 来设置需要拉取哪些实例的日志。
  
  多个 thread 之间使用 | 分隔。例如，1|2|3。更新组件的详情请参见更新 Store 组件。
3. 设置参数后，重启 Store 组件。
4. 5 分钟后，执行 grep 'log entries from' connector/connector.log，即可查看拉取了哪些实例的日志（thread 字段表示拉取到的是哪个实例的日志）。
当需要进行 Oracle 数据库的增量同步时，Oracle 数据库单个归档文件的大小建议小于 2GB。单个归档文件过大，会存在如下风险:
- 单个归档文件越大，拉取的耗时比线性增长更大。
- 录入的 Oracle 数据库为单备库或主备库模式时，增量是从备库拉取，此时只能拉取归档文件。当归档文件生成后才能拉取，归档文件越大，也就意味着在处理该归档文件之前已经延迟较久，并且处理该大的归档文件耗时也越久。
- 单个归档文件越大，在开启相同并发度的拉取时，Store 组件需要的内存也越大。
Oracle 数据库的归档文件保存 2 天以上，否则由于某个时间段归档量陡增或者 Oralce Store 处理异常，准备恢复时没有了归档文件，将无法恢复。
当一条链路意外中断进行断点续传时，DataHub 中可能会存在部分重复数据（最近一分钟内），需要下游具备排重能力。
如果数据同步存在 Logminer 吐出的非法时间（例如，13621-11-11 11:32:08），Store 组件会报错。

您可以在 运维监控 > 组件 > Store 页面，单击目标 Store 后的更新，新增参数 deliver2store.logminer.replace_invalid_date=true。然后在数据同步项目中跳过该数据。

在用户对 DATE 类型的值不敏感的情况下，deliver2store.logminer.replace_invalid_date 参数可以让 Reader 继续运行。Store 组件吐出数据时，会转换异常 DATE 类型的值为落日志时的日期。

数据类型映射

注意：

不支持同步 LONG、ROWID、BFILE、LONG RAW、XMLType、UROWID、UNDEFINED 和 UDT 类型的数据。

Oracle 数据类型	映射 DataHub 类型
CHAR	STRING
NCHAR	STRING
VARCHAR2	STRING
NVARCHAR2	STRING
CLOB	STRING
NCLOB	STRING
BLOB	STRING
NUMBER	DECIMAL
BINARY_FLOAT	FLOAT64
BINARY_DOUBLE	FLOAT64
DATE	STRING
TIMESTAMP	STRING
TIMESTAMP WITH TIME ZONE	STRING
TIMESTAMP WITH LOCAL TIME ZONE	STRING
INTERVAL YEAR TO MONTH	STRING
INTERVAL DAY TO SECOND	STRING
RAW	STRING

检查和修改 Oracle 源端的配置

检查 Oracle 源端字符集的配置

源端为 Oracle 时，OMS 支持字符集配置为 AL32UTF8、AL16UTF16、ZHS16GBK 或 GB18030 的数据同步。
检查和修改 Oracle 实例的系统配置
1. 在 Oracle 源端开启 archivelog 和补偿日志。
2. 在 Oracle 中，以 sys 用户执行以下查询。
  
  执行下述语句确认 log_mode 配置为 archivelog，supplemental_log 相关的配置均为 yes 或 implicit。
```
select log_mode, supplemental_log_data_pk, supplemental_log_data_ui, supplemental_log_data_min from v$database;
```
  如果不符合上述情况，请根据如下方法修改 Oracle 源数据库。
```
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA(PRIMARY KEY) COLUMNS;
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA(UNIQUE) COLUMNS;
```
3. 完成上述操作后，重启实例。

补充 Properties

如果自行创建 Topic，启动数据同步项目前，请在 DataHub 的 Schema 中补充下述 Properties。如果由 OMS 自动创建 Topic 和结构同步，OMS 会自动补充下述 Properties。

注意：

该部分内容仅适用于 Tuple 类型的 Topic。

名称	类型	描述
oms_timestamp	STRING	发生变更的时间。
oms_table_name	STRING	源端为表时，变更表名。
oms_database_name	STRING	源端为数据库时，变更库名。
oms_sequence	STRING	变更序列号。保证相同机器上，同一个主键不断递增。
oms_record_type	STRING	变更类型，包括 UPDATE、INSERT 和 DELETE。
oms_is_before	STRING	如果是 UPDATE 类型，Y 表示该条数据为变更前的数据。
oms_is_after	STRING	如果是 UPDATE 类型，Y 表示该条数据为变更后的数据。

操作步骤

新建数据同步项目。
1. 登录 OMS 控制台。
2. 在左侧导航栏，单击 数据同步。
3. 在 数据同步 页面，单击右上角的 新建同步项目。

在 选择源和目标 页面，配置各项参数。

参数	描述
同步项目名称	建议使用中文、数字和字母的组合。名称中不能包含空格，长度不能超过 64 个字符。
标签	单击文本框，在下拉列表中选择目标标签。您也可以单击管理标签，进行新建、修改和删除。详情请参见通过标签管理数据同步项目。
源端	如果您已创建 Oracle 数据源，请从下拉列表中进行选择。如果未创建，请单击下拉列表中的添加数据源，在右侧对话框进行添加。参数详情请参见添加 Oracle 数据源。
目标端	如果您已创建 DataHub 数据源，请从下拉列表中进行选择。如果未创建，请单击下拉列表中的添加数据源，在右侧对话框进行添加。参数详情请参见添加 DataHub 数据源。

单击 下一步，在 选择同步类型 页面，选择当前数据同步项目的 同步类型和配置。

同步类型和配置 包括 结构同步 和 增量同步。结构同步 实际为创建 Topic，增量同步 仅支持 数据变更 DML（包括 Insert、Delete 和 Update）。

单击 下一步，在 选择同步对象 页面，选择需要同步的 Topic 类型和范围。

Topic 类型包括 Tuple 和 Blob。Tuple 类型的 Topic 支持类似于数据库记录的数据，每条记录包含多个列。Blob 类型的 Topic 仅支持写入一块二进制数据作为一个 Record，数据将会以 BASE64 编码传输。详情请参见 DataHub 官方文档。

选择需要同步的 Topic 类型后，请进行以下操作：

在选择区域左侧选中需要同步的对象。

注意：

待同步的表名和其中的列名不能包含中文字符。
单击 >。

根据业务需求，选择映射方式。

注意：

当选择 Topic 类型为 Tuple 时，如果未勾选 结构同步，则仅支持同步单张表至单 Topic。

如果选择同步单张表，请在 将对象映射至 Topic 对话框中，选择需要的映射方式进行配置，单击确定。

如果设置同步类型和配置时未勾选 结构同步，则仅支持选择 已有 Topic 。如果设置同步类型和配置时已选择 结构同步，则仅支持选择一种映射方式进行 Topic 的创建或选择。

例如，已选择结构同步的情况下，您使用了新建 Topic 和选择已有 Topic 两种映射方式，或通过重命名的方式更改了 Topic 的名称，会因为选项冲突导致预检查报错。

参数	描述
新建 Topic	在文本框中输入新建 Topic 的名称。支持 128 位以内的字母、数字或下划线（_），且必须以字母开头。
选择 Topic	OMS 提供查询 DataHub Topic 的能力，您可以单击选择 Topic，在已有 Topic 下拉列表中，搜索并选中需要同步的 Topic。您也可以输入已有 Topic 后选中显示的 Topic 名称。
批量生成 Topic	批量生成 Topic 的规则为 `Topic_${Database Name}_${Table Name}`。

如果您选择 新建 Topic 或 批量生成 Topic，结构同步成功后，在 DataHub 侧能够查询到新建的 Topic。其分片数量默认为 2 个，数据过期时间默认为 7 天，且不支持修改。

如果选择同步多张表，请在弹出的对话框中，单击确定。

如果您选择 Tuple 类型的 Topic 但未勾选 结构同步，选择多张表时，在 将对象映射至 Topic 对话框中选择一个 topic 并单击确定后，右侧一个 topic 下会显示多张表，但实际仅支持同步一张表。此时单击 下一步，界面会弹出提示：Tuple 类型的 Topic 与表仅支持 One to One 映射关系。

单击确定。

同步 Oracle 数据库的数据至 DataHub 时，OMS 支持通过文本导入对象，并支持设置目标表的分片列、移除单个对象或全部对象等操作。目标端对象的结构为 Topic>DataBase>Table。

操作	步骤
导入对象	在选择区域的右侧列表中，单击右上角的导入对象。在对话框中，单击确定。注意：导入会覆盖之前的操作选择，请谨慎操作。在导入同步对象对话框中，导入需要同步的对象。您可以通过导入 CSV 文件的方式进行库表重命名、设置行过滤条件等操作。详情请参见下载和导入同步对象配置。单击检验合法性。通过合法性的检验后，单击确定。
更改 Topic	选择 Topic 类型为 BLOB 时，支持对目标对象进行更改 Topic 操作。在选择区域的右侧列表中，鼠标悬停至目标对象。单击显示的更改 Topic。在将对象映射至 Topic 的对话框中，更改需要同步的 Topic。单击确定。注意：确定后会将所选 Topic 及表合并至选中 Topic，请谨慎操作。
设置	在选择区域的右侧列表中，鼠标悬停至目标对象。单击显示的设置。从分片列下拉列表中选择目标分片列。您可以选择多个字段作为分片列，该参数为选填。选择分片列时，如果没有特殊情况，默认选择主键即可。如果存在主键负载不均衡的情况，请选择唯一性标识且负载相对均衡的字段作为分片列。请确保分片列的正确性。分片列填写错误，会导致数据同步项目失败。分片列的主要作用如下：负载均衡：在目标端可以进行并发写入的情况下，通过分片列区分发送消息需要使用的特定线程。有序性：由于存在并发写入可能导致的无序问题，OMS 确保在分片列的值相同的情况下，用户接收到的消息是有序的。此处的有序是指变更顺序（DML 对于一列的执行顺序）。在选择列区域，选择需要同步的列。全选或不勾选任何列，OMS 会同步全部列。单击确定。
移除/全部移除	OMS 支持在数据映射时，对暂时选中到目标端的单个或多个对象进行移除操作。移除单个同步对象在选择区域的右侧列表中，鼠标悬停至目标对象，单击显示的移除，即可移除该同步对象。移除全部同步对象在选择区域的右侧列表中，单击右上角的全部移除。在对话框中，单击确定，即可移除全部同步对象。

单击 下一步，在 同步选项 页面，配置各项参数。

参数	描述
增量同步起始位点	指定同步某个时间节点之后的数据，默认为当前系统时间。您可以选择时间节点，也可以直接输入时间戳。注意：仅支持选择当前时间，或当前时间之前的时间点。该位点与当前归档日志的保留时间密切相关。如果无特殊要求，可以从当前位点开始启动。
序列化方式	控制数据同步至 DataHub 的消息格式，目前支持 Default、Canal、Dataworks（支持 2.0 版本）、SharePlex 和 DefaultExtendColumnType。详情请参见数据格式说明。注意：仅在选择同步类型页面，选择 Topic 类型为 Blob 时，会显示该参数。
开启事务内序号编排	根据需求，设置是否开启事务内保持排序。如果开启，OMS 可以为一个事务发送到下游进行顺序标识。注意：该参数仅对 SharePlex 格式生效，目的是为了确保您能够获取构成交易的 DML 语句的序号。例如，在同一交易内包含 10 条 DML 语句（顺序为 1，2，3...10），则 OMS 会按照 1，2，3 ...10 的顺序投递至目标端。该选项会有性能损耗，请根据业务性质选择性开启。
分区规则	同步源端数据至 DataHub Topic 的规则，目前支持 Hash 和 Table。 Hash 表示 OMS 使用一定的 Hash 算法，根据主键值或分片列值 Hash 选择 DataHub 的 Shard。 Table 表示 OMS 将一张表中的全部数据投递至同一个分区中，以表名作为 Hash 键。
业务系统标识（可选）	用于标识数据的业务系统来源，以便您后续进行自定义处理。该业务系统标识的长度限制为 1~20 个字符。

单击 预检查。

在 预检查 环节，OMS 会检测和目标端的连接情况。如果预检查报错，请排查并处理问题后，重新执行预检查，直至预检查成功。
单击 启动项目。

如果您暂时无需启动项目，请单击保存，跳转至数据同步项目的详情页面，您可以根据需要手动启动数据同步项目。如果您需要查看详情，请参见查看数据同步项目的详情。

如果中途接入数据的过程出错（通常由于网络不通或进程启动过慢导致），您可以在同步项目的列表或详情页面，单击恢复。