使用 Databricks 将 api 的结果写入数据湖

Question

我正在使用以下代码进行 api 调用。

import requests   
response = requests.get('https://myapi.com/api/v1/city', auth=('user', 'password'))
data = response.json()

希望将 json 有效负载保存为 Azure Data Lake Storage Gen2 中的 json 文档并从此处读取文档。

data.write.json("wasbs://<file_system>@<storage-account-name>.dfs.core.windows.net/city.json")

错误： AttributeError: 'list' object has no attribute 'write'

Answer 1

您需要将 json 列表 data 变量转换为数据框，或者使用

df=spark.createDataFrame(data,schema), df=spark.read.json(data)

然后使用写入 Azure DataLake 存储

df.write.json("wasbs://<file_system>@<storage-account-name>.dfs.core.windows.net/city.json")

Or 如果您不想转换为 json，请使用

spark.createDataFrame(data,schema).saveAsTextFile("<path>")

---

更新：

尝试使用 Row 对象创建数据框。

Example:

data=[{'id': 1}]

from pyspark.sql import *

df=spark.createDataFrame([Row(**i) for i in data])
df.show()
#+---+
#| id|
#+---+
#|  1|
#+---+

df.write.json("<path>")