ETL与ELT的区别与联系
其实数据集成不算一个很新的概念，可能20年前就有数据集成的工具，大家经常会使用Talent, Informatica, Kettle, Data Stage这样一些工具。这些工具有一个共性，就是它的数据计算和转化功能是非常强大的。
而ELT从功能上来说没有差异，只是换了一个顺序。差别于，如果采用ELT的方案，首先把数据用一种高效的方式从数据源抽取出来，进行一些清洗和异常数据的剔除。当使用Kafka Connect做一个数据集成方案的时候，通常Kafka Connect只做一件事情：将数据从数据源抽取出来，放到一个或者多个目的地，具体的计算任务放到目的地。取决于这个目的地特点，你可以去利用数据仓的SQL去完成各种操作，也可以加一个额外的计算框架，例如Spark，对数据做更复杂灵活的计算。