Python快速数据读入和切片

Question

我在 python 中有以下代码，我想我需要一些帮助来优化它。
我正在读取几百万行数据，但如果每行一个坐标不符合我的标准，则将它们中的大部分丢弃。
代码如下：

def loadFargoData(dataname, thlimit):
    temp = np.loadtxt(dataname)
    return temp[ np.abs(temp[:,1]) < thlimit ]

我已经将它编码为 C 类型代码，当然现在在 python 中这非常慢。
我可以以某种方式扔掉我的临时对象吗？或者 Pythonian 群体可以帮助我进行哪些其他优化？

Answer 1

pandas 中包含的数据阅读器可能会加快您的脚本速度。它的读取速度比 numpy 快。 Pandas 将生成一个数据框对象，易于查看为 numpy 数组（如果愿意，也易于转换），因此您可以在 numpy 中执行您的条件（在您的问题中看起来足够高效）。

import pandas as pd

def loadFargoData(dataname, thlimit):
    temp = pd.read_csv(dataname)  # returns a dataframe
    temp = temp.values            # returns a numpy array
    # the 2 lines above can be replaced by   temp = pd.read_csv(dataname).values
    return temp[ np.abs(temp[:,1]) < thlimit ]

您可能需要查看 Pandas 的文档以了解正确读取文件可能需要的函数参数（标题、分隔符等）。