如何在python中拆分巨大的文本数据集？

Question

我的机器学习项目的第一部分是将庞大的数据集分成 3 部分，然后将它们用作训练数据集和测试数据集。该数据集包含 1000 万行，如下所示：

上图是我的数据集的截图。我不想更改列或行的顺序，所以随机在这里不起作用。如您所见，它们是由制表符分隔的 6 列，包含 1000 万行。我想将这些行分成 3 个单独的部分，其中前 3333333.333 行是我的 dataset1，然后第二个 3333333.333 行是 dataset2，其余的是 dataset3。所以3个不同的文本文件，组件（列）的顺序没有改变。 我正在使用 Spyder3，并在您的帮助下编写了以下代码：

f = open ( 'pr_data.txt' , 'r')  """Reading File"""

l = [ map(float,line.strip().split()) for line in f ]

no_samples = len(l)

data1 = l[0:int(no_samples/3)][:]

data2 = l[int(no_samples/3):int(no_samples*2/3)][:]

data3 = l[int(no_samples*2/3):no_samples][:]

file = open('data1.txt','w')
for row in data1: 
    file.writelines(["%s\t" % item for item in row]) 
    file.writelines("\n") 
file.close()

file = open('data2.txt','w')
for row in data2: 
    file.writelines(["%s\t" % item for item in row]) 
    file.writelines("\n") 
file.close()

file = open('data3.txt','w')
for row in data3: 
    file.writelines(["%s\t" % item for item in row]) 
    file.writelines("\n") 
file.close()

通过上面的代码，在同一个目录下创建了3个文本文件，但问题是：数字的精度发生了变化。例如，0 和 1 更改为 0.0 和 1.0。此外，其中一些不在同一列中。请看data1第一行的截图，如下：

请告诉我我的代码有多正确？

Answer 1

打印需要普通括号 -> () 将您的代码更改为：

print(data.read())

如果您将数据作为字符串处理（在本例中就是这样），则应首先在每个新行处使用data.split("\n") 将其拆分。这将返回一个包含每一行的列表。

编辑： 现在您可以对该列表进行切片以获得 3 个单独的列表：

data1 = lines[0:1/3*len(lines)]
data2 = lines[1/3*len(lines):2/3*len(lines)]
data3 = lines[2/3*len(lines):len(lines)]

Answer 2

所以方法如下：

1. 打开文件

2. 在逐行读取文件时，使用 split() 方法拆分每一行。另外在拆分的同时也将得到的字符串转换成float。

3. 现在您将整个文件作为浮点类型的多维数组。

4. 获取样本数（行）。

5. 使用切片存储第一个数据中从 0 到 rows/3 的行，data2 中的 rows/3 到 rows*2/3 以及 data3 中的其余行。

f = open ( 'input.txt' , 'r')
l = [ map(float,line.strip().split()) for line in f ]

no_samples = len(l)

data1 = l[0:int(no_samples/3)][:]

data2 = l[int(no_samples/3):int(no_samples*2/3)][:]

data3 = l[int(no_samples*2/3):no_samples][:]

//Write a multidimensional list to a file
file = open('data1.txt','w')
for row in data1: 
    file.writelines(["%s\t" % item for item in row]) 
    file.writelines("\n") 
file.close()