输入数据行作为python中的参数

Question

我想使用NI-FI将数据从源传输到目标。在NI-FI我还想使用python脚本来屏蔽我的数据。所以有人建议我将数据的输入行一一传递作为参数蟒蛇。

所以我想知道我需要在我的 python 脚本中手动传递文件或每一行和每一列以进行屏蔽。什么是最好的方法，我怎样才能得到它。

在 NI-FI 中我也想使用 python 脚本来屏蔽我的数据，但是 Getfile Processor 和 python 脚本指出了位于 NI-FI 的 Input 文件夹中的同一个文件，所以可能是由于这个原因我在执行流命令中出现错误。

用户@GMc要求的以下脚本：-

   class ModJSON(StreamCallback):
    def __init__(self):
        pass

    def process(self, inputStream, outputStream):
        flowFile = session.get()
        obj = {
            "Source": "NiFi",
            "IP": obj['IP'].replace(regex='((?<=[0-9])[0-9]|(?<=\.)[0-9])', value='X'),
            "Name": obj['user']['screen_name']
        }

在这个脚本中，我想屏蔽来自 GetFile 处理器但文件在队列中的数据。

我想从源中获取数据并对其进行转换。

Answer 1

已经有一段时间了，但如果我没记错的话，NiFi 的 python 接口为您提供了一个名为 session 的全局变量。

您使用会话对象来获取流文件并将您的输出传输到正确的下游路径（例如成功）。

也许这个教程会对你有所帮助https://community.hortonworks.com/articles/35568/python-script-in-nifi.html

我对您对 GetInputFile（您的意思是 GetFile 处理器吗？）和 python 脚本的引用有点困惑。通常 GetFile 从文件系统中获取文件。然后将其转换为 NiFi 中称为 FlowFile 的内部机制。下游处理器（例如 python 脚本）从会话对象获取流文件对其进行处理，并可选择通过 session.transfer 方法传输修改后的版本。