使用 Python 创建 Nifi PutSQL 处理器

Question

我想将我的 Nifi-ETL 管道（主要是 PUTSQL 处理器）从我的开发实例转移到 Apache Nifi 的生产实例，最好使用 Python 以实现可重用性。

我想我会尝试复制粘贴它们。

1. 在 /nifi-api/processors/{id} 上使用 GET 请求从 DEV 获取处理器
2. PUT 处理器到 PRD Nifi-instance，在 /nifi-api/processors/{id} 上有 PUT 请求

代码：

# GET processor and parse to JSON
response = requests.get(nifi_url_dev + 'processors/' + proc_id
                            , headers=header)
processor = json.loads(response.content)


# PUT processor 
processor['revision']['version'] = 0 # reset version
payload = json.dumps(processor).encode('utf8')
response = requests.put(nifi_url_prd + 'processors/' + proc_id
                        , data=payload
                        , headers=header)

这在 PUT 上失败，409 HTTP Conflict Error。我猜这是因为我试图将资源放在期望资源已存在于该位置的 URI 上。

documentation 在处理器 API 旁边列出了“创建处理器、设置属性、调度”，但是在查看它时，没有用于创建的专用 API - 我决定使用 PUT，因为它说“更新处理器”，这是我在那里看到的最接近从头开始创建新处理器的东西。

您对如何使用 Python 创建处理器有任何想法吗？通过复制现有的或创建全新的？

Answer 1

所以问题在于 API 文档有点误导...... 创建新处理器的正确 API 是 process-groups/{process_group_id}/processors 。尽管有描述，它也列在“进程组”下的文档中，而不是“处理器”下。

以下内容对我有用 - 有必要稍微调整一下 json：主要是删除开发环境的任何 ID。

# GET processor and parse to JSON
response = requests.get(nifi_url_dev + 'processors/' + proc_id
                            , headers=header)
processor = json.loads(response.content)


# PUT processor 
del processor["id"]  # Processor ID cannot be specified.
del processor["uri"]  # Processor ID cannot be specified.
del processor["component"]["id"]  # Processor ID cannot be specified.

del processor["component"]["parentGroupId"]  # Parent process group id should not be specified.
# If specified, the parent process group id must be the same as specified in the POST-URI.

processor['revision']['version'] = 0 # reset version
payload = json.dumps(processor).encode('utf8')
response = requests.post(nifi_url_prd + 'process-groups/' + process_group + '/processors'
                        , data=payload
                        , headers=header)