Databricks - 将数据从 Databricks temp 移动到 Data Warehouse 或直接从 Databricks Table 移动到 Data Warehouse

【问题标题】：Databricks- Move data from Databricks temp to DataWarehouse or move from Databricks Table to Dataware house directlyDatabricks - 将数据从 Databricks temp 移动到 Data Warehouse 或直接从 Databricks Table 移动到 Data Warehouse
【发布时间】：2020-10-31 15:15:53
【问题描述】：

我们如何将数据从数据块临时视图或表直接移动到数据仓库。请告诉我因为我是数据块的新手。

该文档仅显示了与 Datawarehouse 的直接连接，但我们如何移动数据

【问题讨论】：

标签： data-warehouse databricks azure-databricks azure-sqldw

【解决方案1】：

您通过将数据框写入外部位置来移动数据。 EG

df.write
  .format("com.databricks.spark.sqldw")
  .option("url", "jdbc:sqlserver://<the-rest-of-the-connection-string>")
  .option("forwardSparkAzureStorageCredentials", "true")
  .option("dbTable", "my_table_in_dw_copy")
  .option("tempDir", "wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net/<your-directory-name>")
  .save()

https://docs.databricks.com/data/data-sources/azure/synapse-analytics.html

【讨论】：

这里的表是不是提到了databricks表
df 是一个数据框。它可以是任何 Datacricks 表、外部表或查询。