druid groupBy Query中超出资源限制

Question

我正在尝试运行 groupBy Query 超过 500k 数据的限制。我收到此错误。

{
    "error": "Resource limit exceeded",
    "errorMessage": "Not enough dictionary space to execute this query. Try increasing druid.query.groupBy.maxMergingDictionarySize or enable disk spilling by setting druid.query.groupBy.maxOnDiskStorage to a positive number.",
    "errorClass": "io.druid.query.ResourceLimitExceededException",
    "host": "ubuntu:8083"
}  

我如何使用超过 500k 数据限制的 groupBy 查询？我正在使用 druid 0.11.0 版本和 groupBy v2 引擎。我有 100 万行数据正在对其运行查询。

我尝试增加druid.query.groupBy.maxMergingDictionarySize 和druid.query.groupBy.maxOnDiskStorage 但这并不能解决我的问题。

编辑

当我尝试增加druid.processing.buffer.sizeBytes 时，这个错误发生在 linux 终端中。

5 errors
        at com.google.inject.internal.InjectorImpl$2.get(InjectorImpl.java:1028) ~[guice-4.1.0.jar:?]
        at com.google.inject.internal.InjectorImpl.getInstance(InjectorImpl.java:1050) ~[guice-4.1.0.jar:?]
        at io.druid.guice.LifecycleModule$2.start(LifecycleModule.java:154) ~[druid-api-0.11.0.jar:0.11.0]
        at io.druid.cli.GuiceRunnable.initLifecycle(GuiceRunnable.java:101) [druid-services-0.11.0.jar:0.11.0]
        at io.druid.cli.ServerRunnable.run(ServerRunnable.java:50) [druid-services-0.11.0.jar:0.11.0]
        at io.druid.cli.Main.main(Main.java:108) [druid-services-0.11.0.jar:0.11.0]

Answer 1

为此，您需要增加所有历史和实时节点以及代理节点的缓冲区大小。

druid.processing.buffer.sizeBytes

同时增加druid.query.groupBy.maxMergingDictionarySize和druid.query.groupBy.maxOnDiskStorage

并仔细检查您的机器是否没有用完磁盘。