【发布时间】:2022-01-30 00:44:30
【问题描述】:
我在 pyspark/python 中有一个 databricks 笔记本。我有一个天蓝色的突触数据库。我想更新 Synapse 表中的单个记录。好像是原版的
df.write \.
format("com.databricks.spark.sqldw") \
没有这些选项。它只是有追加、覆盖......所以需要其他库来帮助吗?
【问题讨论】:
标签: pyspark databricks
我在 pyspark/python 中有一个 databricks 笔记本。我有一个天蓝色的突触数据库。我想更新 Synapse 表中的单个记录。好像是原版的
df.write \.
format("com.databricks.spark.sqldw") \
没有这些选项。它只是有追加、覆盖......所以需要其他库来帮助吗?
【问题讨论】:
标签: pyspark databricks
我相信您应该加载到 Synapse 中的临时表,然后使用 .option("postActions",postActionsSQL) 将/更新/删除到最终表中。这是full example。
【讨论】:
我会将输出临时加载到 ADLS 到文件(最有可能是镶木地板),然后使用 polybase 或 OPENROWSET 更新记录(使用提到的外部表进行连接更新或合并)。您可以创建存储过程并与创建镶木地板。
我猜微软会建议不要将数据块用作单独的资源,而是在 Synapse Studio 中使用火花池。
【讨论】: