【问题标题】:How to get season and if a date range falls on a US Holiday with pandas?如何获得季节以及日期范围是否与熊猫一起在美国假期?
【发布时间】:2020-08-22 00:56:13
【问题描述】:

我有一个 pandas 数据框,它有 2 列名为 date_x 和 date_y。我想在单独的列中提取 date_x 所在的季节(冬季、春季、夏季或秋季),然后确定假期是否在 date_y 之外的日期范围内。我已经看到了一些潜在的解决方案,这些解决方案通过将一年分解为几天来完成季节,但我似乎无法让这对我有用。我仍在弄清楚熊猫可以做什么。我面临的另一个问题是如何计算每年都在变化的复活节等假期。任何帮助都非常感谢。

我也尝试过让 this solution 为我工作,但不知道如何调整它以创建一个新列,该列使用 date_x 而不是今天的日期

下面是我正在努力的形象。

【问题讨论】:

  • 这个解决方案最难的部分是Holiday 列输出,但我认为美国假期有一个特定的库:geeksforgeeks.org/python-holidays-library/
  • 是的,这也是我的感觉。我不知道有一个假期 python 库,所以它可能会派上用场,但我仍然无法让函数与 pandas 列一起使用。我不知道这是否有意义。

标签: python pandas


【解决方案1】:

我相信您正在寻找类似下面的内容。请注意,此解决方案的一部分使用了here 提供的答案。

您可能需要根据自己的独特要求进行调整,但这会给您带来想法。

import pandas as pd
import numpy as np

import holidays # pip install holidays

from datetime import date, datetime

us_holidays = holidays.UnitedStates()

Y = 2000 # dummy leap year to allow input X-02-29 (leap day)
seasons = [('winter', (date(Y,  1,  1),  date(Y,  3, 20))),
           ('spring', (date(Y,  3, 21),  date(Y,  6, 20))),
           ('summer', (date(Y,  6, 21),  date(Y,  9, 22))),
           ('autumn', (date(Y,  9, 23),  date(Y, 12, 20))),
           ('winter', (date(Y, 12, 21),  date(Y, 12, 31)))]

def get_season(dt):
    if isinstance(dt, datetime):
        dt = dt.date()
    dt = dt.replace(year=Y)
    return next(season for season, (start, end) in seasons
                if start <= dt <= end)

def get_holiday(data):
    return ",".join([us_holidays.get(x) for x in us_holidays[data["Date_X"] : data["Date_Y"]]])

np.random.seed(0)
rng_x = pd.date_range('2020-12-22', periods=365, freq='D')
rng_y = pd.date_range('2020-12-26', periods=365, freq='D')

df = pd.DataFrame({ 'Date_X': rng_x, 'Season_X': "", 'Date_Y': rng_y, 'Season_Y': ""}) 
print(df.head())

df['Season_X'] = df["Date_X"].apply(get_season)
df['Season_Y'] = df["Date_Y"].apply(get_season)
print(df.head())

df['Holiday'] = df.apply(get_holiday, axis=1)
print(df.head())

输出:

      Date_X Season_X     Date_Y Season_Y        Holiday
0 2020-12-22   winter 2020-12-26   winter  Christmas Day
1 2020-12-23   winter 2020-12-27   winter  Christmas Day
2 2020-12-24   winter 2020-12-28   winter  Christmas Day
3 2020-12-25   winter 2020-12-29   winter  Christmas Day
4 2020-12-26   winter 2020-12-30   winter

【讨论】:

    【解决方案2】:

    假设您有一个数据框,其日期不仅涵盖多个假期,而且涵盖多个季节:

            Date_x      Date_y
    0   2020-12-22  2021-01-01
    1   2020-06-20  2020-07-11
    3   2020-02-11  2020-03-27
    4   2020-05-22  2020-06-27
    

    为了得到1.Season和2.Holiday:

    1. 我建立了您共享的链接以自定义季节
    2. 我尽量避免使用“第三方”库,并选择使用pandasholiday 库中的USFederalHolidayCalendar;因为,我认为这样会更可靠;但是,我对假日图书馆没有太多经验。此外,可以从 pandas 库中使用多个 calendars。从那里,我使用了我创建的get_season(x) 和get_holiday() 函数。对于前者,我会引用您问题中的链接,后者使用列表理解将假期从我创建的 holidays 数据框中拉入您的数据框中。

    from pandas.tseries.holiday import USFederalHolidayCalendar
    from datetime import datetime
    import pandas as pd
    
    cal = USFederalHolidayCalendar()
    holidays = (pd.DataFrame(cal.holidays(return_name=True), columns=['Holiday'])
                .reset_index()
                .rename({'index': 'Date'}, axis=1))
    holidays['Date'] = pd.to_datetime(holidays['Date'])
    df= pd.DataFrame({'Date_x': {0: '2020-12-22', 1: '2020-06-20', 2: '2020-02-11', 3: '2020-05-22'},
                      'Date_y': {0: '2021-01-01', 1: '2020-07-11', 2: '2020-03-27', 3: '2020-06-27'}})
    df['Date_x'] = pd.to_datetime(df['Date_x'])
    df['Date_y'] = pd.to_datetime(df['Date_y'])
    
    Y = 2000 # dummy leap year to allow input X-02-29 (leap day)
    seasons = [('Winter', (date(Y,  1,  1),  date(Y,  3, 20))),
               ('Spring', (date(Y,  3, 21),  date(Y,  6, 20))),
               ('Summer', (date(Y,  6, 21),  date(Y,  9, 22))),
               ('Fall', (date(Y,  9, 23),  date(Y, 12, 20))),
               ('Winter', (date(Y, 12, 21),  date(Y, 12, 31)))]
    
    def get_season(x):
        x = x.replace(year=Y)
        return next(season for season, (start, end) in seasons
                    if start <= x <= end)
    
    
    def get_holiday():
        return pd.DataFrame([(h,y,z) for (h,d) in zip(holidays['Holiday'], holidays['Date'])
         for (y, z) in zip(df['Date_x'], df['Date_y']) if y.date() <= d.date() if d.date() <= z.date()], columns=['Holiday', 'Date_x', 'Date_y'])
    
    
    s1 = df['Date_x'].apply(lambda x: get_season(x))
    s2 = df['Date_y'].apply(lambda x: get_season(x))
    df['Season']= [', '.join(list(set([x,y]))) for (x,y) in zip(s1,s2)]
    dft = get_holiday()
    dft = dft.groupby(['Date_x', 'Date_y'])['Holiday'].apply(lambda x: ', '.join(list(x)))
    df = pd.merge(df, dft, how='left', on=['Date_x', 'Date_y'])
    df
    
    Out[32]: 
          Date_x     Date_y            Season                     Holiday
    0 2020-12-22 2021-01-01            Winter    Christmas, New Years Day
    1 2020-06-20 2020-07-11    Summer, Spring                    July 4th
    2 2020-02-11 2020-03-27    Spring, Winter              Presidents Day
    3 2020-05-22 2020-06-27    Summer, Spring                Memorial Day
    

    【讨论】:

    • 这太棒了,正是我想要做的!虽然当我用 `df = pd.read_csv('dates.csv') 替换您制作的数据框时,我在第 23 行收到了 StopIteration 错误:23 return next(season for season, (start, end) in seasons
    • 数据中的 NULL 值会导致这种情况吗?
    • @LarryFlores 可能会尝试删除这些行以使用 df = df[(df['Date_x'].notnull()) &amp; (df['Date_y'].notnull()) 进行测试
    • 是的,这就是问题所在,这实际上是我开始这个帖子的主要原因,因为我一直收到同样的错误,以为我做错了什么。所以当我看到你的样本出现同样的错误时,我想它可能只是 NULL 值。不管怎样,非常感谢你所有的时间、努力和帮助,我真的比你知道的更感激。这一直困扰着我一段时间。
    • 没问题@LarryFlores NULLS 和 Duplicates 是数据世界中许多邪恶的根源......我已经多次吸取这个教训,所以这是清理时要寻找的关键未来的数据。
    【解决方案3】:

    将您的列转换为日期时间类型(如果还没有的话)并构造两个新的空列:

    df.Date_x = pd.to_datetime(df.Date_x)
    df.Date_y = pd.to_datetime(df.Date_y)
    

    一旦注意到 datetime 系列的 quarter 属性,添加季节列就很容易了:

    df['Season'] = df.Date_x.dt.quarter.map({1: 'Spring', 2: 'Summer', 3: 'Fall', 4: 'Winter'})
    

    假期显然要多一些。从空列开始:

    df['Holiday'] = ''
    

    复活节是一个特殊的节日,让我们先处理好它。 Pandas 已内置,但您也可以定义自己的假期规则。

    easter = df.Date_y - pd.tseries.offsets.Easter()
    

    这给了你Date_y 之前的复活节(我本可以使用Date_x + Easter(),但你说你希望它不包括Date_y)。那么:

    df.loc[df.Date_x < easter, 'Holiday'] = 'Easter'
    

    这会将“复活节”放在假期在[Date_x, Date_y) 内的行中。

    我将其留作练习,让您为剩余的假期制定假期规则。这里有一些建议:Pandas Time Series Holiday Rule Offset

    【讨论】:

    • 感谢假期偏移的提醒,一旦我了解更多信息,它就会派上用场。感谢您花时间回答我的问题
    猜你喜欢
    • 1970-01-01
    • 2019-05-08
    • 2019-07-07
    • 1970-01-01
    • 1970-01-01
    • 2018-07-13
    • 2012-08-25
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多