【问题标题】:Nifi : How to move CSV content and its meta data to single table in Postgresdatabase using NiFiNifi:如何使用 NiFi 将 CSV 内容及其元数据移动到 Postgresdatabase 中的单个表
【发布时间】:2020-02-14 02:04:14
【问题描述】:

我有 csv 文件,我想移动文件的内容及其元数据(文件名、源(要硬编码)、控制号(文件名的一部分 - 要从文件名本身提取)使用NiFi。所以这里是示例文件名和布局 -

文件名 - 12345_user_data.csv (control_number_user_data.csv)

来源 - 纽约

CSV 文件内容/列 - 

字段 - abc1、abc2、abc3、abc4

值 - 1,2,3,4

Postgres 数据库表布局

表名 - User_Education

字段名称 -

控制编号、文件名、来源、abc1、abc2、abc3、abc4

价值观 - 

12345, 12345_user_data.csv,纽约,1,2,3,4

我计划使用以下处理器 -

列表文件

获取文件

更新属性

PutDatabaseRecords

日志属性

但我不确定如何将实际内容与元数据结合起来以加载到一个表中。请帮忙

【问题讨论】:

    标签: postgresql csv apache-nifi meta


    【解决方案1】:

    您可以在PutDatabaseRecord 之前使用UpdateRecordcontrol_numberfile_namesource 字段添加到每条记录,将填充“替换值策略”属性设置为“文字值”并使用表达式语言将值设置为相应的属性。

    例如,您可以将用户定义的属性 /file_name 设置为 ${filename},这会将 file_name 字段添加到每条记录,并将值设置为 FlowFile 的“文件名”属性中的任何内容.

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2019-10-03
      • 1970-01-01
      • 2019-10-19
      • 2019-12-14
      • 1970-01-01
      • 2017-01-05
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多