【发布时间】:2020-10-15 02:13:12
【问题描述】:
例如:
df = spark.read.json("path")
print(df.schema)
打印:
StructType(List(StructField(timestamp,StringType,true)))
而不是:
StructType([StructField("timestamp",StringType(),True)])
如果我想通过最初从文件中推断架构以便打印架构并将其硬编码到我的代码中来提出架构,这对我来说是一个问题。
有没有办法打印数据帧的架构并使用 python 语法,以便我可以将硬编码架构设置为代码中的变量并使用它?
【问题讨论】:
标签: apache-spark pyspark apache-spark-sql