【问题标题】:Loading data from bigquery in spark using pyspark使用pyspark从spark中的bigquery加载数据
【发布时间】:2016-02-14 19:30:36
【问题描述】:

如何在本地机器 (mac) 上使用 pyspark 访问数据时传递 bigquery 凭据(访问密钥)?

【问题讨论】:

    标签: google-bigquery pyspark credentials


    【解决方案1】:

    您无法使用访问密钥访问 BigQuery。您需要一个服务器到服务器 service account [1] 才能从任何地方访问 BigQuery,包括 Spark。

    [1]https://developers.google.com/identity/protocols/OAuth2ServiceAccount

    【讨论】:

    • 是的,我有一个服务帐户和 pem 密钥文件,但我的 spark 仍然在本地而不是在服务器上;它会工作吗?如果是这样我如何传递参数。谢谢!
    • @VP10 - 你提到“不是服务器上的本地”是什么意思?
    • 我在本地的 Mac 上安装了 spark,但没有安装在任何服务器上。我想从 bigquery 获取数据并且我看到一些与凭据相关的错误。我想知道我应该如何使用 pyspark 传递帐户凭据。提前致谢!
    • @VP10 你能发布你看到的错误吗?
    • Py4JJavaError:调用 z:org.apache.spark.api.python.PythonRDD.newAPIHadoopRDD 时出错:java.io.IOException:从位于metadata/computeMetadata/v1/instance/service-accounts/default/… 的元数据服务器获取访问令牌时出错
    猜你喜欢
    • 2016-01-26
    • 2020-08-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多