elasticsearch 多索引批量导入

Question

我正在尝试将包含多个工作表的多个 .xlsx 文件中的数据导入到弹性搜索中。我的流程是这样的：

1. 我打开 xlsx 文件并创建所有工作表的列表
2. 我为每个工作表创建了一个 pandas 数据框并将其转换为 json
3. 我使用 helpers.bulk 方法将 json 导入弹性。 我的问题是，当我运行它时，我得到了错误：

RequestError: RequestError(400, 'action_request_validation_exception', 'Validation Failed: 1: index is missing;2: type is missing;

谁能指出一个循环遍历多个文件和多个工作表的示例？

Answer 1

helpers.bulk 期望的第二个参数是一组应该如下所示的操作：

{
    '_index': 'index-name',
    '_type': '_doc',
    '_id': 42,
    '_source': {
        "title": "Hello World!",
        "body": "..."
    }
}

你需要：

• _index: 索引文档的索引名称
• _type: 必须是 _doc（这将从版本 8 中消失）
• _id：文档ID
• _source：你要索引的文档的实际内容。

确保检查您的 create_json 函数是否添加了所有这些参数。

更新：

查看您的代码...

为什么要两次调用list_of_json() 和get_data_from_file()？只需要第二次调用

list_of_json()
json_names = list_of_json()
...
get_data_from_file(json_names)
data = get_data_from_file(json_names)

那么在bulk_json_data你需要改变我高亮的那一行

def bulk_json_data(json_names):
    for m in json_names:
        for doc in m:
            actions = [
                {'_index': doc,
                 '_type': '_doc',      <--- change this line
                 '_id':uuid.uuid4(),
                 '_source': data}
            ]

    return actions

但是您还需要传递您传递给_source 变量的data，否则您将不会索引任何内容...我怀疑您需要为@ 中的每个文件调用get_data_from_file() 987654337@和你得到的数据必须传入bulk_json_data...