在elasticsearch中插入多个文档

Question

我必须在弹性中插入一个 json 数组。链接中接受的答案建议在每个 json 条目之前插入一个标题行。答案是 2 岁，市场上有更好的解决方案吗？我需要手动编辑我的 json 文件吗？

is there any way to import a json file(contains 100 documents) in elasticsearch server.?

[
  {
    "id":9,
    "status":"This is cool."
  },
  ...
]

Answer 1

好的，那么您可以使用一个简单的 shell 脚本来做一些非常简单的事情（见下文）。这个想法是不必手动编辑您的文件，而是让 Python 来完成并创建另一个格式符合 _bulk endpoint 期望的文件。它执行以下操作：

1. 首先，我们声明一个小的 Python 脚本，该脚本读取您的 JSON 文件并创建一个具有所需文件格式的新脚本，以发送到 _bulk 端点。
2. 然后，我们运行该 Python 脚本并存储批量文件
3. 最后，我们使用简单的 curl 命令将步骤 2 中创建的文件发送到 _bulk 端点
4. 你去，你现在有一个包含你的文档的新 ES 索引

bulk.sh：

#!/bin/sh

# 0. Some constants to re-define to match your environment
ES_HOST=localhost:9200
JSON_FILE_IN=/path/to/your/file.json
JSON_FILE_OUT=/path/to/your/bulk.json

# 1. Python code to transform your JSON file
PYTHON="import json,sys;
out = open('$JSON_FILE_OUT', 'w');
with open('$JSON_FILE_IN') as json_in:
    docs = json.loads(json_in.read());
    for doc in docs:
        out.write('%s\n' % json.dumps({'index': {}}));
        out.write('%s\n' % json.dumps(doc, indent=0).replace('\n', ''));
"

# 2. run the Python script from step 1
python -c "$PYTHON"

# 3. use the output file from step 2 in the curl command
curl -s -XPOST $ES_HOST/index/type/_bulk --data-binary @$JSON_FILE_OUT

你需要：

1. 将上述脚本保存在bulk.sh 文件中并对其进行chmod（即chmod u+x bulk.sh）
2. 修改顶部的三个变量（步骤 0）以匹配您的环境
3. 使用./bulk.sh 运行它