从 R 笔记本访问 Azure Blob 存储答案

【问题标题】：Access Azure blob storage from R notebook从 R 笔记本访问 Azure Blob 存储
【发布时间】：2019-02-24 12:07:26
【问题描述】：

在 python 中，这是我从 Azure blob 访问 csv 的方式

storage_account_name = "testname"
storage_account_access_key = "..."
file_location = "wasb://example@testname.blob.core.windows.net/testfile.csv"

spark.conf.set(
  "fs.azure.account.key."+storage_account_name+".blob.core.windows.net",
  storage_account_access_key)

df = spark.read.format('csv').load(file_location, header = True, inferSchema = True)

如何在 R 中做到这一点？我找不到任何文档...

【问题讨论】：

标签： r azure azure-storage sparkr

【解决方案1】：

AzureStor 包为 Azure 存储提供 R 接口，包括文件、blob 和 ADLSgen2。

endp <- storage_endpoint("https://acctname.blob.core.windows.net", key="access_key")
cont <- storage_container(endp, "mycontainer")
storage_download(cont, "myblob.csv", "local_filename.csv")

请注意，这将下载到本地存储中的文件。从那里，您可以使用标准 Sparklyr 方法摄取到 Spark。

免责声明：我是 AzureStor 的作者。

【讨论】：

有没有办法直接访问 Azure 上的 blob/文件，作为数据表（例如），而无需先下载文件？

【解决方案2】：

如果您不想下载，请创建一个临时文件，然后从中读取

   endp <- storage_endpoint("https://acctname.blob.core.windows.net", key="access_key")
   cont <- storage_container(endp, "mycontainer")
   fname <- tempfile()
   storage_download(cont, "myblob.csv", fname)
   df = read.csv(fname)

【讨论】：