【问题标题】:How to find and add missing dates in a dataframe of sorted dates (descending order)?如何在排序日期的数据框中查找和添加缺失的日期(降序)?
【发布时间】:2020-06-30 07:58:50
【问题描述】:

在 Python 中,我有一个带有“日期”列的 DataFrame(格式,例如 2020-06-26)。此列按降序排列:2020-06-26、2020-06-25、2020-06-24... 另一列“评论”由网站的文本评论组成。我的数据在给定日期可能有多个评论或在另一个日期没有评论。我想在“日期”列中查找缺少的日期。然后,对于每个缺失的日期,添加一行日期为 ''format='%Y-%m-%d''',并在“评论”上添加一个空评论,以便能够绘制它们。我该怎么做?

from datetime import date, timedelta
d = data['Date'] 
print(d[0])
print(d[-1])

date_set = set(d[-1] + timedelta(x) for x in range((d[0] - d[-1]).days))
missing = sorted(date_set - set(d))
missing = pd.to_datetime(missing, format='%Y-%m-%d')

idx = pd.date_range(start=min(data.Date), end=max(data.Date), freq='D')

#tried this
data = data.reindex(idx, fill_value=0)
data.head()

#Got TypeError: 'fill_value' ('0') is not in this Categorical's categories.


#also tried this
df2 = (pd.DataFrame(data.set_index('Date'), index=idx).fillna(0) + data.set_index('Date')).ffill().stack()
df2.head()

#Got ValueError: cannot reindex from a duplicate axis

【问题讨论】:

    标签: python python-3.7 python-datetime


    【解决方案1】:

    这是我的代码:

    for i in range(len(df)):
        if i > 0:
            prev = df.loc[i-1]["Date"]
            current =df.loc[i]["Date"]
            for a in range((prev-current).days):
                if a > 0:
                     df.loc[df["Date"].count()] = [prev-timedelta(days = a), None]
                     
    df = df.sort_values("Date", ascending=False)
    print(df)
    

    【讨论】:

    • 已经尝试过这个并部分工作。具有相同日期的所有行都随机排序。每次我运行程序时,具有相同“日期”的“评论”都有不同的索引顺序。我想保留每天的初始订单(“日期”),并在适当的情况下加入缺失的日期。这个怎么做?如果我使用df = df.reset_index(drop=True),则不会保留初始订单...
    猜你喜欢
    • 1970-01-01
    • 2021-04-06
    • 1970-01-01
    • 2017-01-31
    • 2021-08-11
    • 1970-01-01
    • 2023-01-22
    • 1970-01-01
    • 2013-10-19
    相关资源
    最近更新 更多