将多个 CSV 读入不同的数组

Question

更新。这是我的代码。我将 400 个 csv 文件导入到 1 个列表中。每个 csv 文件有 200 行和 5 列。我的最终目标是对每行或每个 csv 文件的第 4 列的值求和。以下代码导入所有 csv 文件。但是，我正在努力从大列表中的每个 csv 文件中分离出第 4 列数据。

for i in range (1, 5, 1):

data = list()
for i in range(1,400,1):
    datafile = 'particle_path_%d' % i
    data.append(np.genfromtxt(datafile, delimiter = "", skip_header=2))
print datafile

我想在 python 中将 100 个 csv 文件读入 100 个不同的数组。例如：

array1 将有 csv1 array2 将有 csv2 等。

这样做的最佳方法是什么？我现在正在附加到一个列表，但我有一个大列表，事实证明很难拆分成更小的列表。我的最终目标是能够对每个数组执行不同的操作（加、减数字等）

Answer 1

您能否详细说明需要做什么？如果您只是尝试在 csv 文件中逐行读取并制作该数组，那么这应该可以工作：

我会为此创建一个二维数组，例如：

csv_array_container = []
for csv_file in csv_files:
    csv_lines = csv_file.readlines()
    csv_array_container.append(csv_lines)
#Now close your file handlers 

假设 csv_files 是 csv 文件的打开文件处理程序列表。由于文件处理程序的限制，更合适的方法可能是在循环中打开文件并在使用后关闭它们，而不是打开 100、收集数据并关闭 100。

如果您想了解更多详细信息，请向我们提供更多信息，了解您正在尝试使用示例做什么。希望这会有所帮助。

Answer 2

所以你有一个包含 100 个数组的列表。你能告诉我们关于它们的形状吗？

如果它们都具有相同的形状，您可以使用

arr = np.stack(data)

我预计arr.shape 将是 (100,200,5)

fthcol = arr[:,:,3]   # 4th column

如果它们不完全相同，那么简单的列表推导式就可以了

fthcol = [a[:,3] for a in data]

同样，取决于您可以np.stack(fthcol)（选择您的轴）的形状。

不要害怕迭代data 列表的元素。 100 件商品的成本不会太高。