旁路导入概述

OceanBase 数据库支持旁路导入的方式向数据库插入数据，即 OceanBase 数据库支持向 data 文件中直接写入数据的功能。旁路导入可以绕过 SQL 层的接口，直接在 data 文件中直接分配空间并插入数据，从而提高数据导入的效率。

功能概述

OceanBase 数据库支持两种方式的旁路导入：全量旁路导入和增量旁路导入。

LOAD DATA 语句、INSERT INTO SELECT 语句以及 CREATE TABLE AS SELECT 语句导入数据时支持旁路导入，可以通过对单个导入任务加 Hint 指定数据的导入方式为旁路导入，也可以通过全局配置项 default_load_mode 来指定数据的导入方式为旁路导入。

• 全量旁路导入

  • 全量旁路导入用于将完整的数据集一次性直接写入到数据库的数据文件中。该方法能够绕过 SQL 层的接口，在数据文件中直接分配空间并插入数据，从而提高数据导入的效率。
  • 全量旁路导入通常用于初始化数据库、数据迁移或在需要快速载入大量数据时使用。

• 增量旁路导入

  • 增量旁路导入用于在已有大量数据的情况下，直接将新增的数据写入数据库的数据文件，无需通过 SQL 接口。该方法能够绕过 SQL 层的数据处理过程，直接将新增数据写入数据文件，从而提高数据的写入效率。
  • 增量旁路导入通常用于高吞吐量的数据写入场景，例如大规模的实时数据采集、日志写入等场景。

使用场景

旁路导入功能可以在下面的场景中使用：

• 数据迁移与同步。对于数据迁移和同步，通常需要将大量的各种格式的数据从不同的数据源向 OceanBase 数据库进行迁移，传统的 SQL 接口性能可能在时效性上无法得到满足。

• 传统 ETL。当数据在源端进行了抽取和转化之后，在装载到目标端时，通常需要在短时间内加载大量的数据，使用旁路导入技术，会提升数据导入的性能。而对于 ETL 技术，在装载数据的过程中，也可以通过旁路导入技术提高效率。

• 从文本文件或者其他数据源向 OceanBase 数据库加载数据，利用旁路导入技术，也能够提升加载数据效率。

相关文档

• 全量旁路导入
• 增量旁路导入