如何修改/转换数据框的列？

Question

我有一个使用

创建的 pyspark.sql.dataframe.DataFrame 实例

dataframe = sqlContext.sql("select * from table").

一列是“arrival_date”并包含一个字符串。

如何修改此列，以便仅从中取出前 4 个字符并丢弃其余字符？

如何将此列的类型从字符串转换为日期？

在 graphlab.SFrame 中，这将是：

dataframe['column_name'] = dataframe['column_name'].apply(lambda x: x[:4] )

和

dataframe['column_name'] = dataframe['column_name'].str_to_datetime()

Answer 1

正如 Orions 所说，您不能修改列，但可以覆盖它。此外，您不需要创建用户定义的函数，因为有一个用于提取子字符串的内置函数：

from pyspark.sql.functions import *
df = df.withColumn("arrival_date", df['arrival_date'].substr(0, 4))

要将其转换为日期，您可以使用 to_date，正如 Orions 所说：

from pyspark.sql.functions import *
df = df.withColumn("arrival_date", to_date(df['arrival_date'].substr(0, 4)))

但是，如果需要指定格式，则应使用unix_timestamp:

from pyspark.sql.functions import *
format = 'yyMM'
col = unix_timestamp(df['arrival_date'].substr(0, 4), format).cast('timestamp')
df = df.withColumn("arrival_date", col)

这一切都可以在pyspark documentation找到。

Answer 2

要从 arrival_date (StringType) 列中提取前 4 个字符，请使用 UserDefinedFunction 创建一个 new_df（因为您无法修改这些列：它们是不可变的）：

from pyspark.sql.functions import UserDefinedFunction, to_date

old_df = spark.sql("SELECT * FROM table")
udf = UserDefinedFunction(lambda x: str(x)[:4], StringType())
new_df = old_df.select(*[udf(column).alias('arrival_date') if column == 'arrival_date' else column for column in old_df.columns])

要将arrival_date (StringType) 列转换为DateType 列，请使用to_date 函数，如下所示：

new_df = old_df.select(old_df.other_cols_if_any, to_date(old_df.arrival_date).alias('arrival_date'))

来源：
https://stackoverflow.com/a/29257220/2873538
https://databricks.com/blog/2015/09/16/apache-spark-1-5-dataframe-api-highlights.html