将 Presto on Cloud Dataproc 与 Google Cloud SQL 结合使用？答案

【问题标题】：Using Presto on Cloud Dataproc with Google Cloud SQL?将 Presto on Cloud Dataproc 与 Google Cloud SQL 结合使用？
【发布时间】：2015-11-23 19:06:22
【问题描述】：

我同时使用 Hive 和 MySQL（通过 Google Cloud SQL）并且我想使用 Presto 轻松连接到两者。我已经看到 Cloud Dataproc 有一个 Presto initialization action，但它不适用于开箱即用的 Cloud SQL。如何使该初始化操作与 Cloud SQL 一起使用，以便我可以将 Hive/Spark 和 Cloud SQL 与 Presto 一起使用？

【问题讨论】：

标签： google-cloud-sql google-cloud-dataproc

【解决方案1】：

最简单的方法是编辑在 Cloud Dataproc 集群上安装 Presto 的初始化操作。

Cloud SQL 设置

不过，在您执行此操作之前，请务必配置 Cloud SQL，以便它可以与 Presto 一起使用。您需要：

为 Presto 创建用户（或准备好用户）
调整所有必要的防火墙规则，以便您的 Cloud Dataproc 集群可以连接到 Cloud SQL 实例

更改初始化操作

在 Presto 初始化操作中有一个部分设置 Hive 配置，如下所示：

cat > presto-server-${PRESTO_VERSION}/etc/catalog/hive.properties <<EOF
connector.name=hive-hadoop2
hive.metastore.uri=thrift://localhost:9083
EOF

您可以像这样（如下）添加一个新部分，用于设置 mysql 属性。添加如下内容：

cat > presto-server-${PRESTO_VERSION}/etc/catalog/mysql.properties <<EOF
connector.name=mysql
connection-url=jdbc:mysql://<ip_address>:3306
connection-user=<username>
connection-password=<password>
EOF

您显然希望用正确的值替换 <ip_address>、<username> 和 <password>。此外，如果您有多个 Cloud SQL 实例要连接，您可以添加多个部分并为它们指定不同的名称，只要文件名以.properties 结尾即可。

【讨论】：