首批通过分布式安全可靠测评，为关键业务系统打造
使用示例
更新时间：2023-07-03 14:19:40
编辑
分享
本篇旨在介绍 OBLOADER 支持的常见业务场景并提供对应的使用示例。
下表为示例中使用的数据库信息：
| 数据库信息 | 示例值 |
|---|---|
| 集群名 | cluster_a |
| OceanBase DataBase Proxy (ODP) 主机地址 | xx.x.x.x |
| OceanBase DataBase Proxy (ODP) 端口号 | 2883 |
| 集群的租户名 | mysql |
| sys 租户下 root/proxyro 用户名 | **u*** |
| sys 租户下 root/proxyro 用户的密码 | ****** |
| 业务租户下的用户账号（要求读写权限） | test |
| 业务租户下的用户密码 | ****** |
| Schema 名称 | USERA |
导入 DDL 定义文件
场景描述：将 /output 目录下所有已支持的数据库对象定义导入到 Schema USERA 中（OceanBase 4.0.0 之前的版本要求提供 sys 租户的密码）。
示例语句：
$./obloader -h xx.x.x.x -P 2883 -u test -p ****** --sys-user **u*** --sys-password ****** -c cluster_a -t mysql -D USERA --ddl --all -f /output
任务结果示例：
...
All Load Tasks Finished:
---------------------------------------------------------
| No.# | Type | Name | Count | Status |
---------------------------------------------------------
| 1 | TABLE | table | 1 -> 1 | SUCCESS |
---------------------------------------------------------
Total Count: 1 End Time: 2023-05-11 16:02:08
...
说明
--sys-user 选项用于连接 sys 租户下拥有特定权限的用户。导入时如果未指定 --sys-user 选项时，默认指定的是 --sys-user root。
导入 CSV 数据文件
场景描述：将 /output 目录下所有已支持的 CSV 数据文件导入到 Schema USERA 中（OceanBase 4.0.0 之前的版本要求提供 sys 租户的密码）。CSV 数据文件（后缀名 .csv）请参考 RFC 4180 规范，CSV 数据文件以纯文本形式存储，可通过文本编辑器或者 Excel 等工具直接打开。
示例语句：
$./obloader -h xx.x.x.x -P 2883 -u test -p ****** --sys-user **u*** --sys-password ****** -c cluster_a -t mysql -D USERA --csv --table '*' -f /output
任务结果示例：
...
All Load Tasks Finished:
---------------------------------------------------------
| No.# | Type | Name | Count | Status |
---------------------------------------------------------
| 1 | TABLE | table | 1 -> 1 | SUCCESS |
---------------------------------------------------------
Total Count: 1 End Time: 2023-05-11 16:02:08
...
导入 SQL 数据文件
场景描述：将 /output 目录下所有已支持的 SQL 数据文件导入到 Schema USERA 中（OceanBase 4.0.0 之前的版本要求提供 sys 租户的密码）。SQL 数据文件（后缀名 .sql）存储的是 Insert SQL 语句，可通过文本编辑器或者 SQL 编辑器等工具直接打开。
示例语句：
$./obloader -h xx.x.x.x -P 2883 -u test -p ****** --sys-user **u*** --sys-password ****** -c cluster_a -t mysql -D USERA --sql --table '*' -f /output
任务结果示例：
...
All Load Tasks Finished:
---------------------------------------------------------
| No.# | Type | Name | Count | Status |
---------------------------------------------------------
| 1 | TABLE | table | 1 -> 1 | SUCCESS |
---------------------------------------------------------
Total Count: 1 End Time: 2023-05-11 16:02:08
...
导入 POS 数据文件
场景描述：将 /output 目录下所有已支持的 POS 数据文件导入到 Schema USERA 中（OceanBase 4.0.0 之前的版本要求提供 sys 租户的密码）。导入时需要指定控制文件所在的路径。POS 数据文件（默认后缀名 .dat）中的数据是按照固定长度的字节偏移位置所组织的数据，导入时需使用控制文件定义每个字段的固定长度，可通过文本编辑器等工具直接打开。
示例语句：
$./obloader -h xx.x.x.x -P 2883 -u test -p ****** --sys-user **u*** --sys-password ****** -c cluster_a -t mysql
-D USERA --table '*' -f /output --pos --ctl-path /output
说明
要求数据库中定义的表名与其对应的控制文件名大小写一致，否则 OBLOADER 无法识别控制文件。控制文件的定义规则可参考 预处理函数。
导入 CUT 数据文件
场景描述：将 /output 目录下所有已支持的 CUT 数据文件导入到 Schema USERA（OceanBase 4.0.0 之前的版本要求提供 sys 租户的密码）。导入时需要指定控制文件所在的路径，同时使用 |@| 作为列分隔字符串。CUT 数据文件（后缀名 .dat）中的数据是以单个字符或者字符串分隔的数据文件，可通过文本编辑器等工具打开。
示例语句：
$./obloader -h127.1 -P2881 -u test -p ****** --sys-user **u*** --sys-password ****** -c cluster_a -t mysql -D USERA --table '*' -f /output --cut --column-splitter '|@|' --ctl-path /output
任务结果示例：
...
All Load Tasks Finished:
---------------------------------------------------------
| No.# | Type | Name | Count | Status |
---------------------------------------------------------
| 1 | TABLE | table | 1 -> 1 | SUCCESS |
---------------------------------------------------------
Total Count: 1 End Time: 2023-05-11 16:02:08
...
说明
要求数据库中定义的表名与其对应的控制文件名大小写一致，否则 OBLOADER 无法识别控制文件。控制文件的定义规则可参考 预处理函数。
从 Amazon S3 导入数据文件到 OceanBase 数据库
场景描述： 将 Amazon S3 云存储空间中的所有已支持的 CSV 数据文件导入到 Schema USERA 中（OceanBase 4.0.0 之前的版本要求提供 sys 租户的密码）。
示例语句：
$./obloader -h xx.x.x.x -P 2883 -u test -p ****** --sys-user **u*** --sys-password ****** -c cluster_a -t mysql -D USERA --csv --table '*' -f /output --storage-uri 's3://obloaderdumper/obdumper?region=cn-north-1&access-key=******&secret-key=******'
参数说明：
| 参数 | 说明 |
|---|---|
s3 |
S3 云存储类型。 |
obloaderdumper |
S3 存储空间的名称。 |
/obdumper |
S3 存储空间的资源路径。 |
region=cn-north-1 |
S3 bucket 所在的物理位置。 |
access-key=****** |
S3 的访问账号。 |
secret-key=****** |
S3 的访问密钥。 |
任务结果示例：
...
All Load Tasks Finished:
---------------------------------------------------------
| No.# | Type | Name | Count | Status |
---------------------------------------------------------
| 1 | TABLE | table | 3 -> 3 | SUCCESS |
---------------------------------------------------------
Total Count: 3 End Time: 2023-05-11 16:02:08
...
说明
--storage-uri 必须与 --f 选项搭配使用，。
OBLOADER 从 --storage-uri 指定的 S3 存储空间中导入数据库对象定义和表数据到 OceanBase 数据库中，同时 OBLOADER 的运行日志会被保存到 --f 路径下。
从 Aliyun OSS 导入数据文件到 OceanBase 数据库
场景描述： 将 Aliyun OSS 云存储空间中的所有已支持的 CSV 数据文件导入到 Schema USERA 中（OceanBase 4.0.0 之前的版本要求提供 sys 租户的密码）。
示例语句：
$./obloader -h xx.x.x.x -P 2883 -u test -p ****** --sys-user **u*** --sys-password ****** -c cluster_a -t mysql -D USERA --csv --table '*' -f /output --storage-uri 'oss://antsys-oceanbasebackup/backup_obloader_obdumper/obdumper?endpoint=https://cn-hangzhou-alipay-b.oss-cdn.aliyun-inc.com&access-key=******&secret-key=******'
参数说明：
| 参数 | 说明 |
|---|---|
oss |
OSS 云存储类型。 |
antsys-oceanbasebackup |
OSS 存储空间的名称。 |
/backup_obloader_obdumper/obdumper |
OSS 存储空间的资源路径。 |
region=cn-north-1 |
OSS bucket 所在的物理位置。 |
endpoint=https://cn-hangzhou-alipay-b.oss-cdn.aliyun-inc.com |
OSS host 所在地域的 Endpoint |
access-key=****** |
OSS 的访问账号。 |
secret-key=****** |
OSS 的访问密钥。 |
任务结果示例：
...
All Load Tasks Finished:
---------------------------------------------------------
| No.# | Type | Name | Count | Status |
---------------------------------------------------------
| 1 | TABLE | table | 3 -> 3 | SUCCESS |
---------------------------------------------------------
Total Count: 3 End Time: 2023-05-11 16:02:08
...
说明
--storage-uri 必须与 --f 选项搭配使用。
OBLOADER 首先需要从 --storage-uri 指定的 Aliyun OSS 存储空间中导入数据库对象定义和表数据到 OceanBase 数据库中，同时 OBLOADER 的运行日志会被保存到 --f 路径下 。
从 Apache Hadoop 导入数据文件到 OceanBase 数据库
场景描述： 将 Apache Hadoop 云存储空间中的所有已支持的 CSV 数据文件导入到 Schema USERA 中（OceanBase 4.0.0 之前的版本要求提供 sys 租户的密码）。
示例语句：
$./obloader -h xx.x.x.x -P 2883 -u test -p ****** --sys-user **u*** --sys-password ****** -c cluster_a -t mysql -D USERA --csv --table '*' -f /output --storage-uri 'hdfs://127.0.0.1:9000/chang/parquet?hdfs-site-file=/data/0/zeyang/hdfs-site.xml&core-site-file=/data/0/zeyang/core-site.xml'
参数说明：
| 参数 | 说明 |
|---|---|
hdfs |
Hadoop 云存储类型。 |
127.0.0.1:9000 |
Hadoop 存储空间的名称。 |
/chang/parquet |
Hadoop 存储空间的资源路径。 |
hdfs-site-file=/data/0/zeyang/hdfs-site.xml |
Hadoop hdfsSiteFile 配置文件，其中包含 Apache Hadoop 的配置信息。 |
core-site-file=/data/0/zeyang/core-site.xml |
Hadoop hdfsSiteFile 配置文件，其中包含 Hadoop 集群中的核心配置信息。 |
任务结果示例：
...
All Load Tasks Finished:
---------------------------------------------------------
| No.# | Type | Name | Count | Status |
---------------------------------------------------------
| 1 | TABLE | table | 3 -> 3 | SUCCESS |
---------------------------------------------------------
Total Count: 3 End Time: 2023-05-11 16:02:08
...
说明
--storage-uri 必须与 --f 选项搭配使用。
OBLOADER 首先需要从 --storage-uri 指定的 Apache Hadoop 存储空间中导入数据库对象定义和表数据到 OceanBase 数据库中，同时 OBLOADER 的运行日志会被保存到 --f 路径下。
公共云导入模式和数据
场景描述：用户无法提供 sys 租户密码时，将 /output 目录下所有已支持的数据库对象和数据导入到公共云 Schema USERA 中。
示例语句：
$./obloader -h xx.x.x.x -P 2883 -u test -p ****** -D USERA --ddl --csv --public-cloud --all -f /output
私有云导入模式和数据
场景描述：用户无法提供 sys 租户密码时，将 /output 目录下所有已支持的数据库对象和数据导入到私有云 Schema USERA 中。
示例语句：
$./obloader -h xx.x.x.x -P 2883 -u test -p ****** -c cluster_a -t mysql -D USERA --ddl --csv --no-sys --all -f /output
