使用 PySpark 读取 CSV 时是否可以仅覆盖一种列类型？

Question

我正在尝试使用 PySpark 读取包含许多列的 CSV 文件。 inferschema 选项非常适合推断大多数列的数据类型。如果我只想覆盖其中一种被错误推断的列类型，那么最好的方法是什么？

我有这段代码工作，但它使 PySpark 只导入架构中指定的一列，这不是我想要的。

schema = StructType() \ 
    .add("column_one_of_many", StringType(), True) 

spark.read.format('com.databricks.spark.csv') \ 
  .option('delimited',',') \ 
  .option('header','true') \ 
  .option('inferschema', 'true') \ 
  .schema(self.schema) \ 
  .load('dbfs:/FileStore/some.csv') 

我的要求有可能吗？

感谢您的时间和指导 :)

Answer 1

更简单的方法是使用.withColumn 并将column_one_of_many 转换为字符串。

Example

from pyspark.sql.types import *

spark.read.format('com.databricks.spark.csv') \ 
  .option('delimited',',') \ 
  .option('header','true') \ 
  .option('inferschema', 'true') \ 
  .load('dbfs:/FileStore/some.csv')\
  .withColumn("column_one_of_many",col("column_one_of_many").cast("string"))

---

其他方法是定义架构中的所有列，然后排除 inferschema 只需使用 .schema 选项来读取 csv 文件。