旁路导入

背景信息

OceanBase 数据库支持旁路导入的方式向数据库插入数据，即 OceanBase 数据库支持向 data 文件中直接写入数据的功能。旁路导入可以绕过 SQL 层的接口，直接在 data 文件中直接分配空间并插入数据，从而提高数据导入的效率。

使用场景

旁路导入功能可以在下述场景中使用：

• 数据迁移与同步。对于数据迁移和同步，通常需要将大量的各种格式的数据从不同的数据源向 OceanBase 数据库进行迁移，传统的 SQL 接口性能可能在时效性上无法得到满足。

• 传统 ETL。当数据在源端进行了抽取和转化之后，在装载到目标端时，通常需要在短时间内加载大量的数据，使用旁路导入技术，会提升数据导入的性能。

从文本文件或者其他数据源向 OceanBase 数据库加载数据，利用旁路导入技术，也能够提升加载数据效率。

注意事项

• 旁路写入需要使用 RPC 端口传输数据，并非 SQL 协议端口。

• 基于表粒度进行整体提交，并非会话级/事务级的提交操作。

• 暂不支持重试或者断点续传。

• 暂不支持 bit 类型数据。

• 暂不支持虚拟生成列。

• 对于数据量较小的导入任务，不建议使用旁路导入。

• 指定 --replace-data 命令行选项时，仍无法处理唯一索引冲突。

• 参数 --thread 命令行选项与 --parallel 命令行选项的区别：

  • --thread 表示客户端到服务端的连接池，由客户端维护。

  • --parallel 为 OBServer 可以调用的工作线程数，用于写入数据与排序。

  • 使用时，建议 --thread 与 --parallel 保持一致。

旁路导入模式相关命令行选项

旁路导入模式相关参数

您可以在 {ob-loader-dumper}/conf 目录下的 session.config.json 文件中配置旁路导入参数。

示例：

"direct_path_load": {
    "task_timeout_ms": "2592000000000", 
    "heartbeat_timeout_ms": "60000000",
    "heartbeat_interval_ms": "30000000" 
}

• task_timeout_ms：配置操作的超时时间。如果在配置的时限内未完成操作，则被视为超时。单位为微秒。

• heartbeat_timeout_ms：设置心跳超时时间，用于检测导入操作的活跃状态。单位为微秒。

• heartbeat_interval_ms：设置心跳间隔时间，用于指定两次心跳之间的时间间隔。单位为微秒。