Kettle 执行数据导入速度很慢的问题

适用版本

Kettle 所有版本。

OceanBase 数据库所有版本。

问题描述

使用 Kettle 把数据导入 Oracle 数据库时，导入速度为 20000 rps；而把相同的数据导入 OceanBase 数据库时，导入速度仅为 Oracle 的1/10。

问题原因

Kettle 导入 Oracle 时，开启了批量写入，和数据库交互次数低。而 kettle 导入 OceanBase 数据库时，未配置批量写入。

解决方法

在 kettle 的 URL 里添加批量写入属性后，速度达到 16000 rps，比较接近 Oracle。

allowMultiQueries=true&rewriteBatchedStatements=true