对 Elasticsearch 的 Python 自动批量请求不起作用“必须由换行符终止”

Question

我正在尝试通过 Python 自动执行对 Elasticsearch 的批量请求。

因此，我正在为请求正文准备如下数据（作为单独的行保存在列表中）：

数据 = [{"index":{"_id": ID}}, {"tag": {"input": [tag], "weight":count}}]

然后我将使用 requests 进行 Api 调用：

r = requests.put(endpoint, json = data, auth = auth)

这给了我错误： b'{"error":{"root_cause":[{"type":"illegal_argument_exception","re​​ason":"批量请求必须以换行符终止 [\\n]"}],"type":"非法参数异常","原因":"批量请求必须以换行符终止 [\\n]"},"状态":400}'

我知道我需要在请求的末尾添加一个换行符，这就是我的问题： 如何在给定的数据结构上附加换行符？我试图在最后将 '\n' 附加到我的列表中，但没有成功。

谢谢你们！

Answer 1

负载的内容类型必须是ndjson，index 属性需要包含一个名称。这是一个有效的 sn-p：

import requests
import json

endpoint = 'http://localhost:9200/_bulk'


#                  vvvvvv
data = [{"index": {"_index": "123", "_id": 123}},
        {"tag": {"input": ['tag'], "weight":10}}]


#         vvv                                              vvv
payload = '\n'.join([json.dumps(line) for line in data]) + '\n'

r = requests.put(endpoint,
                 # `data` instead of `json`!
                 data=payload,
                 headers={           
                     # it's a requirement
                     'Content-Type': 'application/x-ndjson'
                 })

print(r.json())

P.S.：你可以考虑官方py客户端中的bulk helper。