因为工作的原因,需要排查数据源端到目标端的数据是否丢失,正好有机会研究一下datax的源码.
这里我们探索的oracleReader和kuduWriter的数据交互,其他的组件原理类似
第一步:查看oracleReader端
图中标红的地方就是我们开始探索的入口
第二步:查看数据的查询和写入队列中
这里面重点关注sendToWriter,经过日志的打印,我们知道该实现类是BufferedRecordExchanger
第三步:探索BufferedRecordExchanger
需要关注的是一个buffer的list集合,sendToWriter的数据往集合中添加,再关注getFromReader方法中也是同一个buffer中获取数据,带着这个关注点,接着查看kuduWriter中获取数据是否也是这里
第四步:查看kuduWriter端
通过日志的打印,我们知道reader和writer的数据交互是从BufferedRecordExchanger中的buffer进行缓存交互的.
以上就是整个数据的交互的源码,也是在问题的排查过程中进行的验证,若有不对的地方,欢迎指正