DataFlowSource

启动类

connector-dataflow.jar

com.oceanbase.oms.connector.source.dataflow.DataFlowSourceBooster

【元信息】clients

• 功能：数据源信息

• 默认值：无，必填

• 值的选择范围：

  {
    "clientId": "clientId, 唯一标识",
    "cluster": "ob 集群",
    "tenant": "ob 租户",
    "instance": "ip:port/[schema]", // Schema 在 PostgreSQL、DB2 LUW 或 Oracle 数据库中需要存在。
    "tableWhiteLists": { // 该配置项仅逻辑表生效。物理表依赖 Conditions 配置项，该配置项不生效。
      "db": ["tab", "tab2"]
    },
    "username": "用户名",
    "password": "密码",
    "weakRead": "false", // 可选，默认 false
    "sysInstance": "系统租户的 instance,ip:port/[schema]", // 可选，默认空
    "sysTenantUsername": "系统租户名", // 可选，默认空
    "sysTenantPassword": "系统租户密码" // 可选，默认空
  }
  

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【元信息】dbType

• 功能：同步的数据库类型

• 默认值：无，必填

• 值的选择范围：DbTypeEnum 的范围

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【连接信息】maxConnNum

• 功能：最大连接数

• 默认值：32

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【连接信息】databaseMaxConnection

• 功能：最大连接数

• 默认值：128

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【连接信息】connTimeoutSec

• 功能：连接超时时间

• 默认值：120

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【切片】sliceWorkerNum

• 功能：切片线程数

• 默认值：16

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【切片】sliceQueueSize

• 功能：最大切片队列数

• 默认值：128

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【切片】batchSize

• 功能：切片内再分批的记录数

  例如，每个切片记录数 sliceBatchSize 为 2000，batchSize 为 200 表示 200 一个批次写入目标。

• 默认值：200

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【取数】sourceBatchMemorySize

• 功能：每批切片数据的内存限制，单位为字节

• 默认值：16777216

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【取数】workerNum

• 功能：拉取数据线程数

• 默认值：16

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【取数】nonePkUkSupportRowsMax

• 功能：最大支持无主键记录数

• 默认值：5000000

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【连接参数】timezone

• 功能：时区

• 默认值：+08:00

• 值的选择范围：时区

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【错误处理】sourceMaxRetryTimes

• 功能：获取数据最大重试次数

• 默认值：3

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【错误处理】retryIntervalTime

• 功能：重试间隔数

• 默认值：3

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【过滤】filterTmpTable

• 功能：是否过滤临时表

• 默认值：true

• 值的选择范围：boolean

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【切片】sliceBlocks

• 功能：block 切片每个切片 block 个数

• 默认值：128

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【切片】sliceBatchSize

• 功能：每个切片的记录数

• 默认值：2000

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【连接信息】charset

• 功能：连接编码

• 默认值：utf8

• 值的选择范围：编码

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【错误处理】maxSqlRetryTime

• 功能：拉取数据最大重试时间

• 默认值：3600

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【错误处理】maxSqlNoActiveTime

• 功能：JDBC 超时时间设置

• 默认值：700

• 值的选择范围：int

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【取数】nullReplaceEnable

• 功能：ORACLE gb18030 字段值为 chr(129)-chr(254)，并且 NOT NULL 约束，JDBC 读取为 NULL，对该情况是否启用字符替换

• 默认值：false

• 值的选择范围：true 或 false

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【取数】nullReplaceString

• 功能：ORACLE gb18030 字段值为 chr(129)-chr(254)， NOT NULL 约束，JDBC 读取为 NULL。该情况下，当 nullReplaceEnable=true 时，使用配置字符替换

• 默认值：" "

• 值的选择范围：字符和字符串

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【取数】ncharCharsetMap

• 功能：ORACLE nvarchar2/nchar 类型问题，Oracle 数据库读取这两种类型时，需要配合 NLS_NCHAR_CHARACTERSET 配置进行编码，用于 Oracle 数据库的 NLS_NCHAR_CHARACTERSET 配置和 Java 中字符集编码的映射

• 默认值：{"AL16UTF16":"UTF16"}

• 值的选择范围：json string

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【取数】rtrimOracleChar

• 功能：源端类型为 char 时，是否进行右去空格。当全部是空格时，保留一个空格，char 类型最大长度为 2000。源端和目标端字符集编码不一致时，可能会超出最大长度导致无法写入目标

• 默认值：false

• 值的选择范围：true 或 false

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【取数】rtrimDB2Graphic

• 功能：DB2 graphic 类型读取是否需要右去空格

• 默认值：false

• 值的选择范围：true 或 false

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【取数】indexHint

• 功能：源端查询存在 index hint 的情况下是否使用 hint

• 默认值：true

• 值的选择范围：true 或 false

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【预处理】sourceJdbcTableCache

• 功能：源端为数据库时，是否缓存预处理结果

• 默认值：false

• 值的选择范围：true 或 false

  true 表示缓存，直接使用全局缓存中的表。false 表示未缓存，则需要根据源端配置获取需要迁移的表

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【无主键表】nonePkUkQueryWholeTable

• 功能：全量在无唯一索引的情况下是否查询全表。

• 默认值：true

• 值的选择范围：boolean

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【无主键表】nonePkUkTruncateDstTable

• 功能：全量在无唯一索引的情况下是否 truncate 目标端

• 默认值：true

• 值的选择范围：boolean

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【取数】intervalTypeFmt

• 功能：配置调整 Oracle Interval 类型格式化参数

  • 源端为 Oracle 数据库，目标端非 Oracle 或 OceanBase 数据库 Oracle 兼容模式

  • 目标端为 Oracle 数据库，源端非 Oracle 数据库或 OceanBase 数据库 Oracle 兼容模式

    {"intervalDayDef":1,"intervalToSecondDef":1,"intervalYearDef":1,"intervalToMonthDef":2,"intervalSign":true,"intervalDayFmttime":2}

  • 源端为 OceanBase 数据库 Oracle 兼容模式，目标端非 Oracle 数据库或 OceanBase 数据库 Oracle 兼容模式

  • 目标端为 OceanBase 数据库 Oracle 兼容模式，源端非 Oracle 数据库或 OceanBase 数据库 Oracle 兼容模式

    {"intervalDayDef":2,"intervalToSecondDef":6,"intervalYearDef":1,"intervalToMonthDef":2,"intervalSign":true,"intervalDayFmttime":2}

• 默认值：无

• 值的选择范围：json string

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【取数】timestamptzConvert

• 功能：读取 Oracle 数据库或 OceanBase 数据库 Oracle 兼容模式时，timestamp with time zone 类型是进行时区转换，将城市时区转换为小时表示的时区。例如，Asia/Shanghai -> +08:00。

• 默认值：true

• 值的选择范围：true 或 false

• 支持的版本：OMS 社区版 V3.3.1-CE 及之后版本

【取数】consistencyMigration

• 功能：增量和全量 MySQL 数据库无主键迁移配合，锁定全量迁移快照

• 默认值：false

• 值的选择范围：true 或 false

• 支持的版本：OMS 社区版 V4.1.1-CE 及之后版本

【取数】binlogOffsetDb

• 功能：增量和全量 MySQL 数据库无主键迁移配合，binlogOffset 存储数据库

• 默认值：无

• 值的选择范围：string

• 支持的版本：OMS 社区版 V4.1.1-CE 及之后版本

【取数】binlogOffsetTable

• 功能：增量和全量 MySQL 数据库无主键迁移配合，binlogOffset 存储表

• 默认值：无

• 值的选择范围：string

• 支持的版本：OMS 社区版 V4.1.1-CE 及之后版本