Dataproc 错误上的 Zepplin BigQuery 连接

Question

我已经设置了单节点 Dataproc GCP 集群并使用初始化操作在其上安装了Zeppelin。

当我尝试使用简单的 select sql 查询访问示例 BigQuery 表时，它会从 Zeppelin UI 中引发错误：

%bigquery.sql
SELECT * FROM `GCPPJ-238506.ML_DATASET.test` 

错误详情：SQL 执行返回错误！

请注意，我已经在 Zeppelin 上的 BigQuery Interpreter 中设置了服务帐户的凭据访问权限以及以下设置值：

zeppelin.bigquery.max_no_of_rows    1000000
zeppelin.bigquery.project_id    GCPPJ-238506
zeppelin.bigquery.sql_dialect   standardSQL
zeppelin.bigquery.wait_time 5000000

Answer 1

我按照提供的Zeppeline 链接中的步骤进行操作，并且成功了：

1. 使用 Zeppeline 创建集群： gcloud dataproc 集群创建 zeppeline \ --initialization-actions gs://dataproc-initialization-actions/zeppelin/zeppelin.sh

2. 创建隧道： gcloud 计算 ssh zeppeline-m \ --project=dataproc-training-epam --zone=us-east1-b --\ -4 -N -L 8080:zeppeline-m:8080

   确保您在主节点中启用了到端口 22 的入口流量。

3. 使用端口 8080 和（在 Web 预览中）从 Cloud Shell 打开笔记本。

4. 我通过设置属性 zeppelin.bigquery.sql_dialect=standardSQL 更改了 SQL 方言。我执行了查询，它成功了。

因此，我会建议：

• 确认您可以查询其他数据集和表以验证您的安装是否正确。
• 验证您的数据集和表是否可访问，例如，从 Bigquery UI 执行相同的查询。

另一方面，您可以通过Zeppeline Component 将 Dataproc 连接到 Zeppelin。 Web 界面通过仍处于 Alpha 阶段的组件网关访问，但您可能想尝试一下。