将数据从 pyspark 写入 azure blob？答案

【问题标题】：Write data from pyspark to azure blob?将数据从 pyspark 写入 azure blob？
【发布时间】：2020-04-29 03:25:56
【问题描述】：

我想将数据帧从 pyspark 写入 azure blob？有什么建议或代码怎么做？

我有 blob 的位置和键

【问题讨论】：

【解决方案1】：

您可以按照此tutorial 将您的 spark 数据帧与 Azure Blob 存储连接起来。

设置连接信息：

session.conf.set(
    "fs.azure.account.key.<storage-account-name>.blob.core.windows.net",
    "<your-storage-account-access-key>"
)

然后将数据写入blob存储：

sdf = session.write.parquet(
    "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<prefix>"
)

【讨论】：

我尝试了您上面提到的方法并获得异常为“Caused by: java.lang.IllegalArgumentException: The String is not a valid Base64-encoded string.”
我附上了我在问题下方收到的错误消息的屏幕截图。请看一下，你能告诉我确切的错误是什么吗？