Pyspark：获取嵌套结构列的数据类型

Question

我目前正在处理一些相当复杂的 json 文件，我应该将它们转换并写入增量表。问题是，当涉及到列的数据类型时，每个文件都有细微的差异。有人可以解释一下检索嵌套结构列的数据类型的一般方法吗？在互联网上，我只能找到如何对它们进行选择： https://sparkbyexamples.com/pyspark/pyspark-select-nested-struct-columns/

如果我有这样的格式：

我将如何设法获得姓氏的数据类型？

编辑：Json 文件当然已经写在数据框中，我的问题是关于如何查询数据框以检索数据类型

非常感谢！

Answer 1

您可以像这样访问数据类型：

import pyspark.sql.functions as F
df.select(F.col("name.lastname")).dtypes[0][1]