DataX 离线迁移的数据校验方法

DataX 工具不具备数据校验的功能，本文介绍一种人工进行数据校验的方法。

通过对目标表添加一个 md5 字段，来手动执行数据校验，步骤如下：

1. 目标表中创建校验字段：md5check varchar(32)。 也可以在 Datax 配置文件中添加 preSql 来增加 md5check 字段。

2. 在拉取源表数据的 SELECT 语句中添加 md5 校验的结果。

   select id,name,addr,bat_date,bat_str,md5(concat(id,name)) as md5check 
   from t
   

   其中 md5check 字段为所有待检验的字段的 md5 运算结果，需要注意 concat 函数的长度限制。

3. 待导入完毕后使用以下 SQL 进行人工校验。

   select distinct v from 
   (select if(md5(concat(id,name)) = md5check,0,1) v from t)  
   group by v;
   

适用版本

DataX V2.x、V3.x 版本。