使用 azure databricks scala 将数据从 blob 存储加载到 sql 数据仓库答案

【问题标题】：Data load from blob storage to sql data warehouse using azure databricks scala使用 azure databricks scala 将数据从 blob 存储加载到 sql 数据仓库
【发布时间】：2020-03-15 16:47:29
【问题描述】：

我正在尝试使用 azure databricks scala 将数据从 blob 存储加载到 SQL 数据仓库中。

spark.conf.set("spark.sql.parquet.writeLegacyFormat","true")    
df.write.format("com.databricks.spark.sqldw")
.option("url",sqlDwUrlSmall)
.option("dbtable", "Person")        
.option("forward_spark_azure_storage_credentials","True")
.option("tempdir",tempDir).mode("overwrite").save()

我收到了这个错误

基础 SQLException(s)： - com.microsoft.sqlserver.jdbc.SQLServerException：由于内部错误，外部文件访问失败：'访问时发生错误 HDFS：调用 HdfsBridge_IsDirExist 时引发 Java 异常。爪哇异常消息：HdfsBridge::isDirExist - 意外错误遇到检查目录是否存在： StorageException：此请求无权执行此操作手术。' [错误代码 = 105019] [SQLState = S0001]

【问题讨论】：

我正在使用访问密钥从 blob 存储中获取数据

标签： scala azure azure-databricks

【解决方案1】：

使用 azure databricks scala 将数据从 blob 存储成功加载到 sql 数据仓库。

确保通过正确的路径。
请务必按照以下格式传递“tempDir”。

tempDir = "wasbs://" + blobContainer + "@" + blobStorage +"/tempDirs"

参考：Load data into Azure SQL Data Warehouse

希望这会有所帮助。

【讨论】：