【问题标题】:How can I sort two column read from txt file using python?如何使用 python 对从 txt 文件中读取的两列进行排序?
【发布时间】:2021-08-09 09:03:36
【问题描述】:

我想使用 python 对我的 txt 文件数据进行排序,但问题是它给出了 memoryerror。 txt 文件数据大小为 3gb,我的内存大小为 8gb。 txt 文件数据是整数。喜欢:

1 0 3 1 1
2 1 2 1 1
1 2 1 3 1
.........

现在,是否有任何选项可以对这个 txt 文件进行排序而不将其存储在内存中?请帮忙。

【问题讨论】:

  • 排序这个txt文件而不把它存储在内存中?
  • 你是说文本文件只是一长串数字还是面向行的?
  • 没有我的文本文件每行有 5 列 @DarkKnight
  • 是的,我想要这个。 @Sujay

标签: python sorting memory tensor


【解决方案1】:

看起来您正在寻找的是external sorting 算法。 该算法包括读取一个大文件,将其排序为足够小的数据块以适合主内存,对每个块进行排序,将它们写入临时文件,最后将较小的子文件组合成一个较大的文件。 Here你可以找到一个可能有用的python实现。

【讨论】:

  • 我想对5列中前两列的数据进行排序
猜你喜欢
  • 2017-10-02
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2022-08-17
  • 2014-01-06
  • 2022-06-13
  • 2018-11-20
相关资源
最近更新 更多