从 Pandas 日期时间列中分别提取月份和年份

Question

我有一个数据框 df，其中包含以下列：

df['ArrivalDate'] =
...
936   2012-12-31
938   2012-12-29
965   2012-12-31
966   2012-12-31
967   2012-12-31
968   2012-12-31
969   2012-12-31
970   2012-12-29
971   2012-12-31
972   2012-12-29
973   2012-12-29
...

列的元素是pandas.tslib.Timestamp。

我只想包括年份和月份。我以为会有简单的方法来做到这一点，但我想不通。

这是我尝试过的：

df['ArrivalDate'].resample('M', how = 'mean')

我收到以下错误：

Only valid with DatetimeIndex or PeriodIndex 

然后我尝试了：

df['ArrivalDate'].apply(lambda(x):x[:-2])

我收到以下错误：

'Timestamp' object has no attribute '__getitem__' 

有什么建议吗？

编辑：我有点想通了。

df.index = df['ArrivalDate']

然后，我可以使用索引重新采样另一列。

但我仍然想要一种重新配置整个列的方法。有什么想法吗？

Answer 1

df['date_column'] 必须是日期时间格式。

df['month_year'] = df['date_column'].dt.to_period('M')

您还可以将D 用于Day，2M 用于2 个月等不同的采样间隔，如果有带有时间戳的时间序列数据，我们可以使用精细的采样间隔，例如45Min 45 分钟，15Min 15 分钟采样等。

Answer 2

然后我尝试了：

df['ArrivalDate'].apply(lambda(x):x[:-2])

我认为这里正确的输入应该是字符串。

df['ArrivalDate'].astype(str).apply(lambda(x):x[:-2])

Answer 3

单行：添加带有“年-月”对的列： ('pd.to_datetime'操作前先将列dtype改为date-time)

df['yyyy-mm'] = pd.to_datetime(df['ArrivalDate']).dt.strftime('%Y-%m')


相应地增加一个“年”或“月”列：

df['yyyy'] = pd.to_datetime(df['ArrivalDate']).dt.strftime('%Y')

df['mm'] = pd.to_datetime(df['ArrivalDate']).dt.strftime('%m')


Answer 4

@KieranPC's solution 是 Pandas 的正确方法，但对于任意属性不容易扩展。为此，您可以在生成器理解中使用 getattr 并使用 pd.concat 组合：

# input data
list_of_dates = ['2012-12-31', '2012-12-29', '2012-12-30']
df = pd.DataFrame({'ArrivalDate': pd.to_datetime(list_of_dates)})

# define list of attributes required    
L = ['year', 'month', 'day', 'dayofweek', 'dayofyear', 'weekofyear', 'quarter']

# define generator expression of series, one for each attribute
date_gen = (getattr(df['ArrivalDate'].dt, i).rename(i) for i in L)

# concatenate results and join to original dataframe
df = df.join(pd.concat(date_gen, axis=1))

print(df)

  ArrivalDate  year  month  day  dayofweek  dayofyear  weekofyear  quarter
0  2012-12-31  2012     12   31          0        366           1        4
1  2012-12-29  2012     12   29          5        364          52        4
2  2012-12-30  2012     12   30          6        365          52        4

Answer 5

如果你想要月份和年份的唯一对，使用 apply 非常简单。

df['mnth_yr'] = df['date_column'].apply(lambda x: x.strftime('%B-%Y')) 

在一列中输出月-年。

之前别忘了先把格式改成日期时间，我一般都忘记了。

df['date_column'] = pd.to_datetime(df['date_column'])

Answer 6

有两个步骤可以在不使用方法 apply 的情况下为所有数据框提取年份。

第一步

将列转换为日期时间：

df['ArrivalDate']=pd.to_datetime(df['ArrivalDate'], format='%Y-%m-%d')

第二步

使用DatetimeIndex()方法提取年份或月份

 pd.DatetimeIndex(df['ArrivalDate']).year

Answer 7

您可以直接访问year和month属性，或请求datetime.datetime：

In [15]: t = pandas.tslib.Timestamp.now()

In [16]: t
Out[16]: Timestamp('2014-08-05 14:49:39.643701', tz=None)

In [17]: t.to_pydatetime() #datetime method is deprecated
Out[17]: datetime.datetime(2014, 8, 5, 14, 49, 39, 643701)

In [18]: t.day
Out[18]: 5

In [19]: t.month
Out[19]: 8

In [20]: t.year
Out[20]: 2014

结合年份和月份的一种方法是对它们进行整数编码，例如：201408 表示 2014 年 8 月。在整个列中，您可以这样做：

df['YearMonth'] = df['ArrivalDate'].map(lambda x: 100*x.year + x.month)

或其许多变体。

不过，我不太喜欢这样做，因为它会使日期对齐和算术在以后变得很痛苦，对于那些在没有相同约定的情况下遇到您的代码或数据的其他人来说尤其痛苦。更好的方法是选择月份中的某天约定，例如最后一个非美国假日工作日或第一天等，然后将数据保留为具有所选日期约定的日期/时间格式。

calendar 模块可用于获取特定日期的数值，例如最后一个工作日。然后你可以这样做：

import calendar
import datetime
df['AdjustedDateToEndOfMonth'] = df['ArrivalDate'].map(
    lambda x: datetime.datetime(
        x.year,
        x.month,
        max(calendar.monthcalendar(x.year, x.month)[-1][:5])
    )
)

如果您碰巧正在寻找一种方法来解决将日期时间列格式化为某种字符串化表示的简单问题，那么您可以使用datetime.datetime 类中的strftime 函数，就像这样：

In [5]: df
Out[5]: 
            date_time
0 2014-10-17 22:00:03

In [6]: df.date_time
Out[6]: 
0   2014-10-17 22:00:03
Name: date_time, dtype: datetime64[ns]

In [7]: df.date_time.map(lambda x: x.strftime('%Y-%m-%d'))
Out[7]: 
0    2014-10-17
Name: date_time, dtype: object

Answer 8

从 ['2018-03-04'] 中提取年份说

df['Year'] = pd.DatetimeIndex(df['date']).year  

df['Year'] 创建一个新列。而如果你想提取月份，只需使用 .month

Answer 9

感谢jaknap32，我想根据年份和月份汇总结果，所以这工作：

df_join['YearMonth'] = df_join['timestamp'].apply(lambda x:x.strftime('%Y%m'))

输出很整洁：

0    201108
1    201108
2    201108

Answer 10

您可以首先使用pandas.to_datetime 转换您的日期字符串，这样您就可以访问所有numpy datetime and timedelta 工具。例如：

df['ArrivalDate'] = pandas.to_datetime(df['ArrivalDate'])
df['Month'] = df['ArrivalDate'].values.astype('datetime64[M]')

Answer 11

df['year_month']=df.datetime_column.apply(lambda x: str(x)[:7])

这对我来说很好用，没想到 pandas 会将生成的字符串日期解释为日期，但是当我制作情节时，它非常清楚我的议程和正确排序的字符串 year_month ......一定要喜欢 pandas！

Answer 12

如果您希望新列分别显示年份和月份，您可以这样做：

df['year'] = pd.DatetimeIndex(df['ArrivalDate']).year
df['month'] = pd.DatetimeIndex(df['ArrivalDate']).month

或者...

df['year'] = df['ArrivalDate'].dt.year
df['month'] = df['ArrivalDate'].dt.month

然后您可以将它们组合起来或按原样使用它们。