【问题标题】:ElasticSearch sliced scroll limit (python)ElasticSearch 切片滚动限制(python)
【发布时间】:2020-01-17 09:35:53
【问题描述】:

我正在处理一个巨大的(500 万个文档)ElasticSearch 数据库,我需要在 python 中使用切片滚动来获取数据。问题是:是否有某种方法可以限制(设置size 参数)切片滚动?我尝试通过[search obj].param(size=500000)[:500000] 设置size 参数,但它似乎不起作用 - 切片滚动给了我所有文档。

在我的脚本中,我将切片滚动与 python 多处理一起使用,如下所示: https://github.com/elastic/elasticsearch-dsl-py/issues/817

有没有办法使用切片滚动获取例如 500000 个文档?

提前致谢。

【问题讨论】:

标签: python elasticsearch scroll size


【解决方案1】:

来自github的回答:

“滚动没有限制,它总是返回所有文档。要仅获取子集,只需在使用 break 语句或类似语句获得要检索的数字后停止使用迭代器即可。”

https://github.com/elastic/elasticsearch-dsl-py/issues/817

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2023-04-09
    • 1970-01-01
    • 2017-03-10
    • 1970-01-01
    • 2012-10-02
    • 2021-10-16
    • 2014-09-19
    相关资源
    最近更新 更多