DatahubSink

启动类

datahub_sink-sink.jar

com.oceanbase.oms.connector.datahub.sink.DatahubSinkBooster

【元信息】endpoint

• 功能：DataHub endpoint

• 默认值：无，必填

• 值的选择范围：string

• 支持的版本：OMS 社区版 3.3.1-CE 及之后版本

【元信息】accessId

• 功能：DataHub 的 AccessKey ID

• 默认值：无，必填

• 值的选择范围：string

• 支持的版本：OMS 社区版 3.3.1-CE 及之后版本

【元信息】accessKey

• 功能：DataHub 的 AccessKey Secret

• 默认值：无，必填

• 值的选择范围：string

• 支持的版本：OMS 社区版 3.3.1-CE 及之后版本

【元信息】protocol

• 功能：写下游 Topic 的协议

• 默认值：TUPLE

• 值的选择范围：BLOB / TUPLE

• 支持的版本：OMS 社区版 3.3.1-CE 及之后版本

【分发】partitionMode

• 功能：分发逻辑，确定哪条数据写入哪个分区

• 默认值：HASH

• 值的选择范围：HASH（主键 Hash 确定）/TABLE（按照 Table 名称 Hash）

• 支持的版本：OMS 社区版 3.3.1-CE 及之后版本

【线程】workerNum

• 功能：写入线程数

• 默认值：4

• 值的选择范围：int

• 支持的版本：OMS 社区版 3.3.1-CE 及之后版本

【datahub 参数】connectionTimeoutMs

• 功能：DataHub Client 连接超时

• 默认值：10000ms

• 值的选择范围：int

• 支持的版本：OMS 社区版 3.3.1-CE 及之后版本

【datahub 参数】enableBinary

• 功能：是否开启二进制写入

• 默认值：true

• 值的选择范围：boolean

• 支持的版本：OMS 社区版 3.3.1-CE 及之后版本

【错误处理】requestRetrySec

• 功能：错误之后重试多少时间退出

• 默认值：3600s

• 值的选择范围：int

• 支持的版本：OMS 社区版 3.3.1-CE 及之后版本

【序列化】serializerType

• 功能：序列化格式

• 默认值：DEFAULT

• 值的选择范围：DEFAULT/DEFAULT_WITH_SCHEMA/SHAREPLEX/CANAL/DATAWORKS_V2/DATAWORKS_V1

• 支持的版本：OMS 社区版 3.3.1-CE 及之后版本

【错误处理】requestLimitSize

• 功能：写入请求大小限制，会根据错误动态调整

• 默认值：4M

• 值的选择范围：int

• 支持的版本：OMS 社区版 4.0.0-CE 及之后版本

【错误处理】tooLargeRequestErrorCodes

• 功能：表示 Request 太大的错误码

• 默认值：RequestEntityTooLarge,TooLargePayload

• 值的选择范围：String

• 支持的版本：OMS 社区版 4.0.0-CE 及之后版本