【问题标题】:Find missing dates查找缺失的日期
【发布时间】:2019-02-26 07:31:53
【问题描述】:

我正在尝试编写一个可以在数据框中找到缺失日期的函数。

这是我的场景: (数据按客户排序,然后按日期排序。 日期格式为:M/D/Y)

From Date   To Date
Customer        
A   1/10/2017   2/9/2017
A   NaN         NaN
A   3/10/2017   4/9/2017
A   NaN         NaN
A   4/9/2017    5/9/2017
B   2/10/2017   3/9/2017
B   NaN         NaN
B   3/9/2017    4/9/2017

该函数应该读取 From Date 和 To Date 并查看日期是否有连续性(针对每个客户)。然后,添加一列(Results)并显示结果。

该函数必须对每个客户进行迭代。

(添加评论)

请看看我的预期输出。我也在添加索引和一些解释: Index[1] 显示缺失,因为连续性被破坏,您可以通过比较 To date[0] 与 From date[2] 得出这个结论,这两个值不一样。另一方面:To date[2]= From date[4] 这就是“结果”显示 Not Missing[3] 的原因。

Customer From date  To date Results
0   A   1/10/2017   2/9/2017    NaN
1   A   NaN         NaN         Missing
2   A   3/10/2017   4/9/2017    NaN
3   A   NaN         NaN         Not Missing
4   A   4/9/2017    5/9/2017    NaN
5   B   2/10/2017   3/9/2017    NaN
6   B   NaN         NaN         Not Missing
7   B   3/9/2017    4/9/2017    NaN

任何帮助都将不胜感激。

【问题讨论】:

  • 你能发这个df.to_dict()吗?
  • 您要检查缺少两个日期或其中一个日期的行吗?此外,您找不到丢失的日期,因为它们一开始就不存在。你只会得到该行的索引,我相信在你的情况下是客户
  • 在我的场景中,如果缺少起始日期,那么也缺少截止日期。我不需要知道索引。我的想法是添加一个新列,上面写着:丢失或不丢失。如果你看得更近,你会注意到,第一个 NaN 是“真的”丢失了,其他两个没有丢失。(我知道,这听起来很混乱,抱歉)实际上这是一个我正在尝试修复的报告写入错误它。
  • @RafaelC 不知道该怎么做,但我可以发送 CSV 文件。这对你有用吗?谢谢!
  • @RafaelC 这就是它的样子:colab.research.google.com/drive/…

标签: python time-series


【解决方案1】:

将pd.DataFrame.groupby 与pd.to_datetime 一起使用:

df['From Date'] = pd.to_datetime(df['From Date'], format="%m/%d/%Y")
df['To Date'] = pd.to_datetime(df['To Date'], format="%m/%d/%Y")

dfs = []
for k, d in df.groupby('Customer'):
    dt = d.dropna()['To Date'].shift(1)[1:]
    res = []
    for i in range(dt.shape[0]):
        if (d['From Date'][dt.index] == dt).iloc[i]:
            res.append('Not Missing')
        else:
            res.append('Missing')
    for i in range(dt.shape[0]):
        dt.iloc[i] = res[i]
    dt.index -= 1
    dfs.append(pd.concat([d, dt], 1))
result = pd.concat(dfs)
print(result)

  Customer  From Date    To Date      To Date
0        A 2017-01-10 2017-02-09          NaN
1        A        NaT        NaT      Missing
2        A 2017-03-10 2017-04-09          NaN
3        A        NaT        NaT  Not Missing
4        A 2017-04-09 2017-05-09          NaN
5        B 2017-02-10 2017-03-09          NaN
6        B        NaT        NaT  Not Missing
7        B 2017-03-09 2017-04-09          NaN

最后:

df.columns = ['From Date', 'To Date', 'Results']
print(df)

  Customer  From Date    To Date      Results
0        A 2017-01-10 2017-02-09          NaN
1        A        NaT        NaT      Missing
2        A 2017-03-10 2017-04-09          NaN
3        A        NaT        NaT  Not Missing
4        A 2017-04-09 2017-05-09          NaN
5        B 2017-02-10 2017-03-09          NaN
6        B        NaT        NaT  Not Missing
7        B 2017-03-09 2017-04-09          NaN

解释:

  • pd.to_datetime:这是为了将您看起来像日期的数据转换为实际的日期时间数据。这样pandas就可以做一些计算(比如diff在两天之间)。由于它是一个串行操作,因此必须在每个所需的列上而不是在整个数据帧上完成。
  • df.groupby: groupby 返回一个以给定条件为键的类字典对象。由于整个计算要在 每个 Customer 上完成,因此使用了 `df.groupby('Customer')。
  • dt = d.dropna()['To Date'].shift(1)[1:]:d 是数据帧的子集,仅包含单个 Customer 的数据。 shift(1) 提供在下方移动 1 个单元格的数据帧。这是为了便于比较To Date 和From Date。
  • d['From Date'][dt.index] == dt:提供To Date 和From Date 之间比较的布尔结果。
  • dt.iloc[i] = res[i]:一旦你有了 Missing 和 Not Missing 的 list,你将它分配回 dt 以创建 Results 列。
  • dfs.append(pd.concat([d, dt] 1)):将新创建的Results 列与原始d 和append 连接到list
  • result = pd.concat(dfs):dfs 现在包含每个 Customer 的子集数据帧。将它们连接成一个大数据框。
  • result.columns = ['To Date', 'From Date', 'Results']:重新分配列名。

【讨论】:

  • 运行您的脚本时出现错误。知道可能是什么:colab.research.google.com/drive/…
  • 您的示例数据具有 From Date 和 To Date,而实际数据具有 From Date 和 To date。降低迄今为止的日期就可以了;)
  • 非常感谢。我有最后一个问题如何更改添加列的标题。它说“迄今为止”?也可以添加一些cmets(如果可以的话)
  • 非常感谢您的帮助。你的 cmets 很有帮助,现在我对脚本有了更好的理解。在过去的 2-3 天里,我一直在为我的报告运行脚本,并且 90% 的时间我得到了预期的结果。我已经确定了脚本面临困难的一些情况(特别是一个单元格中的多个日期)。我想我知道解决方案可能是什么,我需要一些建议(如果可能的话)。如果可以的话,你想让我编辑这个问题还是写一个新问题?
  • @Verbamore 我很高兴这个答案对你有很大帮助:)。对于您的新问题,不建议编辑已接受答案的问题。您可以发布一个新问题,并在此评论中给我留下一个链接,以便我或其他人可以帮助您;)
猜你喜欢
  • 1970-01-01
  • 2017-01-31
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-08-15
  • 1970-01-01
相关资源
最近更新 更多