【发布时间】:2016-08-15 21:08:45
【问题描述】:
我需要在一个无法加载到内存或创建数据框的非常大的文件中搜索特定的正则表达式。在这种情况下,grep 或迭代 TextFileReader 哪个会更快?
遗憾的是,我没有时间学习、配置和运行 Hadoop。
干杯
【问题讨论】:
-
通常人们不会将 pandas 仅用于 grep'ping 文本 - 因为人们使用
grep;) 是的,grep很可能会更快 -
Sadly, I don't have time to learn,你会的。在你失败之后。 -
如果您负担得起的话,使用 Hadoop(它是分布式文件系统)将是一个不错且快速的选择...