用于数据屏蔽的 Apache Nifi

Question

我们使用 Nifi 作为我们的主要数据摄取引擎。 Nifi 用于从数据库、blob 存储等多个来源获取数据，并将所有数据推送到 kafka（使用 avro 作为序列化格式）。现在，要求之一是屏蔽特定字段（ PII) 在输入数据中。

1. nifi 是一个很好的工具吗？
2. 是否有任何处理器支持数据屏蔽/混淆？

Answer 1

Nifi 带有EncryptContent 和CryptographicHashContent 和CryptographicHashAttribute 处理器，可分别用于加密/散列数据。

我会先调查一下。

另外ReplaceText 也可以做简单的屏蔽。 ExecuteScript 处理器可以执行自定义屏蔽，或者UpdateRecord 与ScriptedRecordSetWriter 的组合可以轻松屏蔽记录中的某些字段。