使用 apache nifi 的 oracle 到 oracle 数据管道答案

【问题标题】：oracle to oracle data pipeline using apache nifi使用 apache nifi 的 oracle 到 oracle 数据管道
【发布时间】：2018-09-06 03:17:05
【问题描述】：

在我们的项目中，我们将数据从一个数据库 (oracle) 加载到另一个数据库 (oracle) 并对其运行一些批处理级别的分析。

到目前为止，它是通过 pl/sql 作业完成的，我们将 3 年的数据提取到目标数据库中。

我有一个任务是使用 APache nifi 自动化流程..

集群信息： 1. 5节点的APache hadoop集群 2.所有软件都是开源的。

我尝试在使用处理器 queryDatabaseTable -> putDatabaseRecord 的情况下创建流。但据我所知，queryDatabaseTable 输出 avro 格式..

我请求建议我如何转换以及处理器序列应该是什么，我还需要处理增量负载/更改数据捕获。请建议。在此先感谢:)

【问题讨论】：

【解决方案1】：

配置了 Avro 读取器的 PutDatabaseRecord 将能够读取 QueryDatabaseTable 生成的 Avro。

【讨论】：

嗨@bryan，我可以继续执行executesql 和querydatabasetable 处理器。但是，这仅适用于全部负载...我也想对基于 id/time 列的已更改记录执行相同的操作。我尝试在 putdatabaseRecord 处理器中使用更新键选项，不幸的是它没有使用带有“_”的列名......我的列名是 R_CRE_TIME，它把它作为 RCRETIME 并在数据库端将错误作为无效标识符抛出。请帮助如何处理它
尝试将“翻译字段名称”设置为 false
现在得到“文字不匹配格式字符串错误”。当表相同且所有列匹配时...请帮助