【发布时间】:2018-12-05 05:47:54
【问题描述】:
我是 Azure Databricks 的新手,因此即使在阅读文档之后,我也很难使用 Azure Databricks 导入 JSON 数据并将其转换为 CSV。
将 JSON 转换为 CSV 后,我需要将它与另一个具有互列的 CSV 数据结合起来。
任何帮助将不胜感激。谢谢
【问题讨论】:
标签: python database azure apache-spark databricks
我是 Azure Databricks 的新手,因此即使在阅读文档之后,我也很难使用 Azure Databricks 导入 JSON 数据并将其转换为 CSV。
将 JSON 转换为 CSV 后,我需要将它与另一个具有互列的 CSV 数据结合起来。
任何帮助将不胜感激。谢谢
【问题讨论】:
标签: python database azure apache-spark databricks
您想加入互助专栏吗?如果是这样,您可以执行以下操作:
dfjson = spark.read.json(/path/to/json)
dfcsv = spark.read.csv(/path/to/csv)
dfCombined = dfjson.join(dfcsv, dfjson.mutualCol == dfcsv.mutualCol, joinType)
dfCombined.save.format(someFormat).write(/path/to/output)
【讨论】: