Python：使用 NaN 值过滤 CSV

Question

我有一个看起来像这样的 csv，名为“output_data.csv”：

date         product       conditional      client       time       termination_date
18/04/2020   Test 1        TRUE             Test 1       10         NaN
19/04/2020   Test 1        TRUE             Test 1       10         NaN
20/04/2020   Test 1        TRUE             Test 1       10         NaN
21/04/2020   Test 1        TRUE             Test 1       10         NaN
22/05/2020   Test 1        TRUE             Test 1       10         NaN
23/05/2020   Test 1        TRUE             Test 1       10         NaN
24/05/2020   Test 1        TRUE             Test 1       10         NaN
18/05/2020   Test 1        TRUE             Test 2       10         19/05/2020
19/05/2020   Test 1        TRUE             Test 2       10         19/05/2020
20/05/2020   Test 1        TRUE             Test 2       10         19/05/2020
21/05/2020   Test 1        TRUE             Test 2       10         19/05/2020
22/05/2020   Test 1        TRUE             Test 2       10         19/05/2020
23/05/2020   Test 1        TRUE             Test 2       10         19/05/2020
24/05/2020   Test 1        TRUE             Test 2       10         19/05/2020

我试图在我的代码中写一个简单的行来过滤掉任何具有终止日期

所以输出看起来像这样：

date         product       conditional      client       time       termination_date
19/05/2020   Test 1        TRUE             Test 1       10         
19/05/2020   Test 1        TRUE             Test 1       10         
20/05/2020   Test 1        TRUE             Test 1       10         
21/05/2020   Test 1        TRUE             Test 1       10         
22/05/2020   Test 1        TRUE             Test 1       10         
23/05/2020   Test 1        TRUE             Test 1       10         
24/05/2020   Test 1        TRUE             Test 1       10         
18/05/2020   Test 1        TRUE             Test 2       10         19/05/2020
19/05/2020   Test 1        TRUE             Test 2       10         19/05/2020

我之前成功使用过下面的代码，但这次我得到的是一个空白的 csv：

output_data = output_data.loc[output_data['termination_date'] > output_data['date']]

我相信这可能是因为 NaN 值，但我不确定。

有谁知道我可以对这行代码进行哪些更改以忽略这些值并提供我提到的输出？

提前非常感谢！

===编辑===

抱歉，看起来过滤器很好，但在这段代码之前，我使用以下脚本将所有终止日期转换为 NaN：

    output['termination_date'] = pd.to_datetime(output_data['termination_date'], errors='coerce', format='%d/%m/%Y')

这是尝试将 terminate_date 设置为可用于过滤的时间戳，但 errors='coerce' 会将所有值转换为 NaN，因为没有它我会收到以下错误：

ValueError: time data '2019-07-30 00:00:00+00' does not match format '%d/%m/%Y' (match)

这是因为原始终止日期的格式为“yyyy-mm-dd hh:mm:ss+00”，所以我试图将其转换为与脚本其余部分相同的格式：“dd/mm/年年”。

所以我想现在的问题是，我怎样才能将原始日期转换为 dd/mm/yyyy，而不必传递 errors='coerce' ？

Answer 1

你需要这样做：

df['termination_date'] = pd.to_datetime(df['termination_date'])
df['date'] = pd.to_datetime(df['date'])
df = df[df['termination_date'] > df['date']]

输出：

        date product  conditional  client  time termination_date
7 2020-05-18  Test 1         True  Test 2    10       2020-05-19

并且

df = df[df['termination_date'] < df['date']]

输出：

         date product  conditional  client  time termination_date
9  2020-05-20  Test 1         True  Test 2    10       2020-05-19
10 2020-05-21  Test 1         True  Test 2    10       2020-05-19
11 2020-05-22  Test 1         True  Test 2    10       2020-05-19
12 2020-05-23  Test 1         True  Test 2    10       2020-05-19
13 2020-05-24  Test 1         True  Test 2    10       2020-05-19

Answer 2

我认为你的不平等方向就是这种情况。应该是：

output_data = output_data.loc[output_data['termination_date'] < output_data['date']]

此外，如果您想保留 Nan 值，您可以使用：

output_data = output_data.loc[(output_data['termination_date'] < output_data['date']) | (output_data['termination_date'].isna())]

编辑：

根据您帖子的编辑部分，您正在将该列转换为日期时间类型，但您使用的是斜杠而不是数据示例中显示的连字符。你应该在你的函数中修改它。你也可以去掉 coerce 属性或者改成'ignore'：

output['termination_date'] = pd.to_datetime(output_data['termination_date'], errors='ignore', format='%d-%m-%Y')