根据列值过滤numpy ndarray（矩阵）

Question

这个问题是关于根据某些列值过滤NumPyndarray。

我有一个相当大的 NumPy ndarray (300000, 50)，我正在根据某些特定列中的值对其进行过滤。我有ndtypes，所以我可以按名称访问每一列。

第一列名为category_code，我需要过滤矩阵以仅返回category_code 位于("A", "B", "C") 中的行。

结果需要是另一个NumPy ndarray，其列仍可由dtype 名称访问。

这是我现在要做的：

index = numpy.asarray([row['category_code'] in ('A', 'B', 'C') for row in data])
filtered_data = data[index]

列表理解如下：

list = [row for row in data if row['category_code'] in ('A', 'B', 'C')]
filtered_data = numpy.asarray(list)

无法使用，因为我原来拥有的 dtypes 已无法访问。

有没有更好/更 Pythonic 的方式来实现相同的结果？

可能看起来像的东西：

filtered_data = data.where({'category_code': ('A', 'B','C'})

谢谢！

Answer 1

您可以使用基于 NumPy 的库 Pandas，它具有更普遍有用的 ndarrays 实现：

>>> # import the library
>>> import pandas as PD

创建一些示例 data 作为 python 字典，其 keys 是列名，其 values 是列值作为 python 列表；每列一个键/值对

>>> data = {'category_code': ['D', 'A', 'B', 'C', 'D', 'A', 'C', 'A'], 
            'value':[4, 2, 6, 3, 8, 4, 3, 9]}

>>> # convert to a Pandas 'DataFrame'
>>> D = PD.DataFrame(data)

要仅返回 category_code 为 B 或 C 的行，从概念上讲是两个步骤，但可以在一行中轻松完成：

>>> # step 1: create the index 
>>> idx = (D.category_code== 'B') | (D.category_code == 'C')

>>> # then filter the data against that index:
>>> D.ix[idx]

        category_code  value
   2             B      6
   3             C      3
   6             C      3

注意 Pandas 与 NumPy 中的索引之间的区别，NumPy 是构建 Pandas 的库。在 NumPy 中，您只需将索引放在括号内，用“，”指示您要索引的维度，并使用“：”表示您想要另一个维度中的所有值（列）：

>>>  D[idx,:]

在 Pandas 中，您调用数据框的 ix 方法，并将 索引放在括号内：

>>> D.loc[idx]

Answer 2

如果可以选择，我强烈推荐pandas：它具有"column indexing" built-in 以及许多其他功能。它建立在 numpy 之上。