将大量大列表写入文件

Question

我想测试一个算法的效率，所以我决定制作一个包含所有输入测试用例的文本文件。我的主要目标是制作两个最大大小为 10^5 的不相交列表。所以最简单的方法是制作两个列表。

• 列表 1 将从 0 开始，一直到 99999

• 列表 2 将从 -100000 开始，一直到 -1

所以第一组列表将是

列表1：-100000

list2: 0

第二组将是

列表1：-100000 -99999

list2: 0 1

它将继续进行到第 10^5 次迭代

列表1：-100000 -99999 ... -1

list2: 0 1 ... 99999

所以我写了这段代码

#!/usr/bin/python3

ip = open("input.dat", "w+")

for length in range(1, 10**5+1):
    arr1 = [var1 for var1 in range(length)]
    arr2 = [var2-(10**5) for var2 in range(length)]
    ip.writelines(["%s " % item  for item in arr1])
    ip.writelines("\n")
    ip.writelines(["%s " % item  for item in arr2])
    ip.writelines("\n\n")

ip.close()

但这是非常低效的，并且需要很长时间来处理。有没有有效的方法来做同样的事情？

Answer 1

这段代码效率更高，但对于10**5 的情况仍然无用。

#!/usr/bin/python3

ip = open("input.dat", "w+")

N = 10**4

string_arr1 = ""
string_arr2 = ""
for lenght in range(0, N):
    string_arr1 += "%s " % lenght
    string_arr2 += "%s " % (lenght-N)
    ip.write(string_arr1 + "\n")
    ip.write(string_arr2 + "\n\n")

ip.close()

在我的机器上，它运行不到 2 秒。

编辑：修正了一些错误。

Answer 2

不清楚您是否想要包含 1000 个或 100000 个项目的数组：10⁵ 是 100000，而不是您的问题中提到的 10000。

您不需要创建中间数组。只需迭代整数变量。使用以下代码，10000 个元素的运行时间减少了 23%（29.1 秒与 37.7 秒）：

#!/usr/bin/python

# iterating to 10**4 generates a 538,995,000 byte file (539MB)
# iterating to 10**5 would produce more than 100x that much
max = 10000

ip = open("input.dat", "w+")

for length in range(1, max+1):
    ip.writelines(["%s " % item  for item in range(length)])
    ip.writelines("\n")
    ip.writelines(["%s " % item  for item in range(-max, length-max)])
    ip.writelines("\n\n")

ip.close()

时间用于将数组项转换为字符串并写入文件。创建数组更快，尤其是当创建延迟时，就像这里的情况一样。 ip.writelines 接受一个可迭代对象，它可能根本不会被构造。