我正在对德鲁伊进行 POC。我正在从 s3 摄取数据，默认配置下 289MB 的数据需要大约 7 分钟。现在我设置了 "maxNumConcurrentSubTasks": 2 和 "appendToExisting": true。当尝试从 s3 将相同的数据摄取到 druid 中时，它所花费的时间几乎与上述相同。我期待的时间要少得多，因为我没有更新任何数据，我正在尝试追加而不是覆盖完整的数据。
我是否误解了德鲁伊中追加的概念，还有从 s3 进行增量摄取的最佳方法吗？任何线索将不胜感激。
【问题讨论】：
在控制台中，检查子任务是否同时运行。您可能需要修改您的 druid.worker.capacity 以告诉 Druid 有更多内核可供摄取。
见https://druid.apache.org/docs/latest/configuration/index.html#middlemanager-configuration。
值得查看此文档以了解更新及其工作原理。 https://druid.apache.org/docs/latest/ingestion/data-management.html#updating-existing-data
还有这个有用的教程： https://druid.apache.org/docs/latest/tutorials/tutorial-update-data.html
Awesome Itai 写了一篇关于留存率的博文（无论如何读起来都很不错），但其中有一些关于增量摄取的内容......我从未尝试过他的技巧，但你可以做一些实验，让我们大家知道你找到了什么:D :D
https://medium.com/nmc-techblog/data-retention-and-deletion-in-apache-druid-74ffd12398a8
【讨论】：