如何在 Dataproc 中配置 Druid？答案

【问题标题】：How can Druid be configured in Dataproc?如何在 Dataproc 中配置 Druid？
【发布时间】：2020-08-03 19:44:03
【问题描述】：

现在 Druid 已成为 Google Cloud Dataproc (https://cloud.google.com/dataproc/docs/concepts/components/druid) 的可选组件，我想知道如何从 Dataproc 集群创建中执行 Druid 配置？我尝试了以下 gcloud 命令：

%gcloud dataproc clusters create test1 --region=us-east1 --zone=us-east1-b -- 
num-masters=1 --num-workers=2 --optional-components=ZOOKEEPER,DRUID -- 
properties=druid:druid.storage.type=google,...

但是它返回一个错误：

属性 'druid:druid.storage.type' 有一个不受支持的前缀

显然druid 不是一个有效的前缀。那么如何在 Dataproc 中配置 Druid 呢？

谢谢。

【问题讨论】：

标签： google-cloud-dataproc druid

【解决方案1】：

Druid 仍处于 alpha 阶段，不支持深度存储或元数据存储配置。仅支持 JVM 属性和 Druid 组件（Broker、历史等）的运行时属性。

这也意味着只支持 HDFS 作为深度存储，MySql 作为元数据存储。

【讨论】：

感谢您的见解。我可以知道如何在创建 Dataproc 集群时配置“Jvm 属性和 Druid 的组件（代理、历史等）运行时属性”吗？

【解决方案2】：

要配置 Druid，您可以在使用 Druid 创建 Dataproc 集群时使用下一个 cluster properties 前缀：

druid-broker:<property-name>=<value>
druid-broker-jvm:<property-name>=<value>
druid-broker-runtime:<property-name>=<value>
druid-coordinator:<property-name>=<value>
druid-historical:<property-name>=<value>
druid-historical-jvm:<property-name>=<value>
druid-historical-runtime:<property-name>=<value>
druid-middleManager:<property-name>=<value>
druid-overlord:<property-name>=<value>
druid-router:<property-name>=<value>

【讨论】：