我们系统的基础数据存放在EBS中，的有个基础数据同步功能，因为变化频率比较低，所以采用定时加手动的方式同步，每日凌晨三点由ETL工具同步到我们中间表，然后存储过程再处理数据。手动则是程序调用Kettle脚本同步数据到中间表没然后执行存储过程。刚开始上线时，量较小，也就几万条数据，手动同步比较快，越到后期，数据量逐渐增多，达到一百多万的基础数据，通过Kettle同步一次得花十多分钟。业务方实在无法忍受，要求我们必须优化。

DataX 是阿里开源的异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。阿里云开源离线同步工具DataX3.0介绍