【问题标题】:What will be faster - grep or pandas TextFileReader for a very large file?对于非常大的文件,什么会更快 - grep 或 pandas TextFileReader?
【发布时间】:2016-08-15 21:08:45
【问题描述】:

我需要在一个无法加载到内存或创建数据框的非常大的文件中搜索特定的正则表达式。在这种情况下,grep 或迭代 TextFileReader 哪个会更快?

遗憾的是,我没有时间学习、配置和运行 Hadoop。

干杯

【问题讨论】:

  • 通常人们不会将 pandas 仅用于 grep'ping 文本 - 因为人们使用 grep ;) 是的,grep 很可能会更快
  • Sadly, I don't have time to learn, 你会的。在你失败之后。
  • 如果您负担得起的话,使用 Hadoop(它是分布式文件系统)将是一个不错且快速的选择...

标签: python pandas grep


【解决方案1】:

由于 grep 是一个已编译的 C 程序,因此 grep 肯定比解释文件扫描和正则表达式处理的字节码更快(尽管正则表达式库是本机代码)

用pypy运行可以缩小差距,但最终编译的代码会赢。

当然,在较小的数据上,如果数据可以存储在字典中,多次搜索操作会比调用 grep 相同的次数更快,因为 grep 搜索是O(n),而字典搜索是O(log(N))

【讨论】:

    猜你喜欢
    • 2017-06-10
    • 2021-08-15
    • 2013-01-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-06-19
    • 1970-01-01
    相关资源
    最近更新 更多