从 Azure DataLake 读取并通过 Databricks 写入 Google BigQuery答案

【问题标题】：Reading from Azure DataLake & Writing to Google BigQuery via Databricks从 Azure DataLake 读取并通过 Databricks 写入 Google BigQuery
【发布时间】：2023-02-01 21:26:22
【问题描述】：

我正在尝试从 Azure Datalake 读取并写入 Bigquery 。参考 https://docs.databricks.com/external-data/bigquery.html

我在 GCP 中创建了 2 个服务帐户并生成了 json 密钥，并将其上传到 dbfs 中的 /tmp 位置。当使用 spark 命令执行对 bigquery 的写入时，它抛出一个异常 **

com.google.cloud.spark.bigquery.repackaged.com.google.inject.ProvisionException：无法提供，请参阅以下错误：** 并且潜在的错误是 FileNotFound 引起：java.io.FileNotFoundException：dbfs/tmp/gcpaccess.json（没有这样的文件或目录） json 文件存在于 dbfs:/tmp 和 file:/tmp 位置在数据块中

【问题讨论】：

显示您正在使用的代码

标签： azure google-bigquery azure-databricks

【解决方案1】：

通过查看错误，它似乎无法获取包含密钥和其他信息的 Json 文件。

在 dbfs >> filestore 下上传您的 Json 文件。
现在，将文件从 dbfs 复制到临时文件位置。

%fs cp "dbfs location" "temporary location"

（如果您使用的是 Azure Databricks，则无需复制临时位置）

然后使用凭证路径作为/temp/filename

在 Azarudin shahul 的 video 中，解释了将大查询连接到数据块的所有过程。

【讨论】：