Pandas 根据前 n 行的条件过滤数据帧答案

【问题标题】：Pandas filter dataframe based on condition for the first n rowsPandas 根据前 n 行的条件过滤数据帧
【发布时间】：2019-08-17 11:03:25
【问题描述】：

我有一个形状为 [600 000, 19] 的数据框。我想根据一个条件过滤前 100 000 行，根据另一个条件过滤下 300 000 行，最后一行的第三个条件。我想知道如何做到这一点。

目前，我将数据框分成 3 段并应用它们各自的条件。然后，我重新连接数据框。有没有更好的办法？

示例：根据任何小于 5 的值过滤前 100 000 行。对于第二个 300 000 行，我不想要任何大于 40 的值，等等。

【问题讨论】：

将索引重置为列，然后您可以将行序号合并到您的条件中
尝试使用 .iloc 创建三个掩码，然后使用“或”( | ) 一次将三个掩码应用于数据帧。

标签： python pandas filtering conditional-statements

【解决方案1】：

您可以尝试以下方法：

import pandas as pd

sample = pd.DataFrame({'x' : pd.np.arange(100),
                       'colname': pd.np.arange(100)})
conditions = [('index < 5', 'colname < 3'), 
              ('index > 50', 'index < 100', 'colname < 55')]
sample.query('|'.join(map(lambda x: '&'.join(x), conditions)))

【讨论】：

谢谢！这绝对能够在不拆分和重新连接的情况下完成任务。我还学到了一些关于 Pandas 的其他知识。

【解决方案2】：

方法是使用带有pd.concat 的数据帧索引切片来构建完整的布尔系列：

import numpy as np
import pandas as pd
np.random.seed(0)
df=pd.DataFrame(np.random.randint(0,50,60))

df[pd.concat([df.iloc[:10] > 10, df[11:40] < 30, df[41:] % 2 == 0])]

前 10 个记录过滤小于 10 的记录，接下来的 30 个值过滤大于 30 的记录，最后一个值检查偶数。

然后你可以使用 dropna 删除所有的 NaN 值

输出：

【讨论】：

谢谢！这绝对是我原来的一个更干净的版本，然后我删除了 na 并重置了索引，它工作得很好。