DataX 提供了 "transformer" 字段用来满足一些基本的数据清洗操作,本文主要介绍如何通过修改 DataX 配置文件的方式实现在字段导入过程中进行字段清洗。
适用版本
OceanBase 数据库 V3.x 及之前版本
通过 transformer 字段进行数据清洗
例如对于字符串CN000123456789012345678张三,现在需要将1个字段拆分到三个字段中:定长截取 1~5 字节列表示客户实体,6~23 列表示客户编号,24~29 列表示客户姓名。
可以将 DataX 的配置文件中的 "transformer" 进行以下设置。其中,dx_substr 函数用于提供字符串截取的功能。其中,"columnIndex":n 用于设置拆分后的字段位于第 n+1 列,"paras":[a,b] 表示将源字段从 a+1 到 b+1 字节进行拆分。
"transformer": [
{
"name": "dx_substr",
"parameter": {
"columnIndex": 0,
"paras": [
"0",
"4"
]
}
},
{
"name": "dx_substr",
"parameter": {
"columnIndex": 1,
"paras": [
"5",
"22"
]
}
},
{
"name": "dx_substr",
"parameter": {
"columnIndex": 2,
"paras": [
"23",
"28"
]
}
}
]