1.前言
开源的 ETL工具里面 DataX和 Kettle的人气一直高居不下，datax虽然比较年轻，但这两年发展势头很猛，不时就能听到身边的同事谈起。kettle作为老牌的 etl工具，诞生年限长，功能完善，特别是其开箱即用的数据转换算子，不得不令人叹服。因此，笔者决定对这两款工具进行深入的对比分析，有多深呢，到源码那种。
2.DataX
DataX 是阿里开源的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。
从 GitHub上可以查到 DataX仓库的创建时间为 2018-01-18T10:09:47Z，是一个比较年轻的项目。
这里以 DataX 3.0为研究对象，从支持的数据源、界面化配置、数据转换能力、扩展性和部署难易程度等方面进行分析介绍。
2.1 数据源支持情况
下面这张表格来自 datax在 github的官方仓库：
类型
数据源
Reader
Writer
备注
RDBMS 关系型数据库
MySQL
√
√
读 、写
Oracle
√
√
读 、写
OceanBase
√
√
读 、写
SQLServer
√
√
读 、写
PostgreSQL
√
√
读 、写
DRDS
√
√
读 、写
Apache Doris
√
写
StarRocks
√
写
通用RDBMS(支持所有关系型数据库)
√
√
读 、写
阿里云数仓数据存储
ODPS
√
√
读 、写
ADS
√
写
OSS
√
√
读 、写
OCS
√
写
NoSQL数据存储
OTS
√
√
读 、写
Hbase0.94
√
√
读 、写
Hbase1.1
√
√
读 、写
Phoenix4.x
√
√
读 、写
Phoenix5.x
√
√
读 、写
MongoDB
√
√
读 、写
Hive
√
√
读 、写
Cassandra
√
√
读 、写
无结构化数据存储
TxtFile
√
√
读 、写
FTP
√
√
读 、写
HDFS
√
√
读 、写
Elasticsearch
√
写
时间序列数据库
OpenTSDB
√
读
TSDB
√
√
读 、写
TDengine
√
√
读 、写
从上面这张表格可以看到，datax对流行的 mysql, oracle, sql server和 pg等关系型数据库的支持较好。另外，对 hdfs, hive, hbase等大数据存储的支持度也不错，但对于全文搜索 elasticsearch的支持度较弱，仅支持写入。
总结下，如果是同步关系型数据库、hadoop生态圈的大数据存储、文本格式（csv,json等）的文件等场景，用 datax都是一个挺好的选择。
2.2 界面化配置
datax官方并没有提供配置数据同步任务的界面（至少在 github上没有），另外有一个流行的界面项目 datax-web（4.2k stars），由 WeiYe-Jing发起，但遗憾的是该项目 master分支已经超过两年没有更新，最近一次更新在 2020年6月。
datax-web界面以网页形式在浏览器中进行使用，支持 hive, mysql, oracle, postgresql, sqlserver, hbase, mongodb, clickhouse等数据同步任务的可视化创建，并集成了任务调度组件，支持分布式部署，功能精炼易用。缺点是支持的数据源比 datax官方少了很多，也没有提供数据转换的配置能力。
2.3 数据转换能力
datax官方提供的 transformer只有五个：
①、dx_substr
获取原字符串指定位置和长度的子字符串
②、dx_pad
统一字符串长度，长度超过阈值进行截断，长度不足则使用指定的字符进行填充
③、dx_replace
对字符串进行部分替换，可用于数据脱敏
④、dx_filter
支持 java的正则表达式，对数据进行过滤
⑤、dx_groovy
支持自定义 groovy脚本，可用于对数据进行复杂的转换操作
五个转换算子中，其实只有四个是可以直接使用的算子，最后一个算是对脚本进行了简单支持，满足了一定的扩展性。因为 datax一个核心设计是插件式开发，所以开发自定义 transformer也比较容易，需要继承基类 Transformer，如下：
2.4 功能扩展性
这里主要分析核心的 reader, writer, transformer三大核心功能的扩展性。
前面已经谈到，datax的开发是插件式思维，对扩展开放。reader插件用于读取数据源，自定义 reader插件需要继承 Reader, Reader.Job, Reader.Task三个类，并实现部分接口。下面是 mysql reader的部分源码：
writer则是读取数据源的插件，跟 reader类似，自定义 writer插件也需要继承 Writer, Writer.Job, Writer.Task三个类，并实现部分接口。部分源码如下：
transformer已经在 2.3节进行了介绍，这里就不再介绍了。总的来说，datax扩展性很强，开发自定义插件的难度较小，比较适合根据业务进行二次开发和增强。
2.5 部署复杂度
部署 datax非常简单，预先搭建好 JDK1.8+和 python2.7的环境，然后解压已编译好的 datax安装包即可。
如果是从源码安装，则除了上述要求外还要准备好 Maven 3.x的环境。
3.Kettle
Kettle是开源自 2005年的一款老牌 ETL工具，使用 Java进行编写，核心组件有 spoon, pan, kitchen, carte。如今已被 Pentaho收购，并更名为 Pentaho Data Integration，简称 PDI。
这里以 PDI 9.2为研究对象（9.2以后依赖 JDK11+），同样从支持的数据源、界面化配置、数据转换能力、扩展性和部署难易程度等方面进行分析介绍。
3.1 数据源支持情况
类型
数据源
读
写
RDBMS 关系型数据库
MySQL
√
√
Oracle
√
√
IBM DB2
√
√
SQLServer
√
√
PostgreSQL
√
√
Teradata
√
√
SQLite
√
√
KingbaseES
√
√
Sybase
√
√
Azure SQL DB
√
√
Apache Derby
√
√
LucidDB
√
√
MonetDB
√
√
Microsoft Access
√
√
通用RDBMS(支持所有关系型数据库)
√
√
NoSQL数据存储
HBase
√
√
Hive
√
√
MongoDB
√
√
Cassandra
√
√
Calpont InfiniDB
√
√
Greenplum
√
√
Vertica
√
√
CouchDB
√
SSTable
√
无结构化数据存储
TxtFile（CSV, Json, LDIF, yaml, xml）
√
√
GZIP CSV
√
Excel
√
√
LDAP
√
√
Cube
√
√
Rss
√
√
FTP
√
√
HDFS
√
√
Elasticsearch
√
上面列出的数据源只是 kettle数据源中比较常见的部分，还有一些小众的未列出。可以看到 kettle对关系型数据库的支持相当好，估计是 ETL工具的天花板了，另外对大数据存储组件的支持也比较完善。对于 es的支持则有些差强人意，官方给的支持是只能写 es，也有资料表明可以使用 kettle运行 ssh命令的功能来读取 es。
3.2 界面化配置
前面提到了 kettle有 spoon, pan, kitchen, carte等四个核心组件，其中 spoon就是 kettle的可视化模块，以客户端的形式存在。
spoon提供了很多核心对象，一些常用的如下：
输入：CSV文件输入、JSON input、表输入、Excel输入、LDAP 输入、LDIF 输入、YAML 输入
输出：Access 输出、Excel输出、插入/更新、数据同步、JSON output、LDAP 输出、SQL 文件输出
转换：Add a checksum、Concat fields、值映射、列拆分多行、列转行、去除重复记录、增加常量、字符串替换
脚本：Java 代码、JavaScript代码、Rules executor、公式、执行SQL脚本、正则表达式
Big Data：HBase input/output、Hadoop file input/output、MongoDB input/output、SSTable output
批量加载：Elastic bulk insert、Greenplum load、MySQL 批量加载、Oracle 批量加载
加密：PGP decrypt/encrypt stream、对称加密、生成秘钥
另外，在实际使用过程中，界面偶尔会出现卡死的现象（win7），只能重启程序。
3.3 数据转换能力
kettle提供了相当多的数据转换算子，3.2节只是列出了部分转换算子，整体来看基本能满足日常的数据转换需求，如果不能满足的还可以编写 Java代码或者 JavaScript代码实现。
3.4 功能扩展性
类似 datax，kettle也是支持插件的，比如 kettle官方提供的 es批量写入插件不支持 7.x版本的 es，可以从 github拉取其 es插件源码进行修改并替换。
以编写 kettle数据库插件为例，需要继承 BaseDatabaseMeta类，并实现 DatabaseInterface接口，如下：
3.5 部署复杂度
部署 kettle同样非常简单，预先搭建好 JDK1.8的环境，然后解压已编译好的 kettle安装包即可。
如果是从源码安装，则除了上述要求外还要准备好 Maven 3.x的环境。
4.对比分析
datax比较年轻，且社区活跃度非常高，扩展性非常好，又属于国产化，但是数据转换算子较少，只能对数据做简单的转换，需要较大的开发量。
kettle胜在发展时间长，功能相对更加完善，特别是它的转换类算子非常多，但是架构老化，扩展性弱一些，且界面是以 客户端的形式提供，而不是浏览器页面。
5.总结
datax和 kettle各有优劣，如果开发资源足够，对性能要求高，推荐使用 datax。反之，如果追求开箱即用，功能完备，就更推荐使用 kettle。