按列附加两个 CSV 文件

Question

假设我在Python 中有两个名为A 和B 的CSV 文件。

A 的head 看起来像：

 headerNameA1,headerNameA2
 1.12412424,1
 1,1
 1,1
 1,1

B 的head 看起来像：

 headerNameB1,headerNameB2
 1,1
 1,1
 1,1
 1,1

我的目标是将B 附加到A 上，这样A 将如下所示：

 headerNameA1,headerNameA2,headerNameB1,headerNameB2
 1,1,1.12412424,1
 1,1,1,1
 1,1,1,1
 1,1,1,1

从我问的另一个问题来看，这里的代码将采用 A 和 B 并将它们组合成 C：

 import csv
 with open('A','rb') as f1, open('B','rb') as f2, open('out.csv','wb') as w:
     writer = csv.writer(w)
     r1,r2 = csv.reader(f1),csv.reader(f2)
     while True:
         try:
             writer.writerow(next(r1)+next(r2))
         except StopIteration:
             break

但是，这个问题的目的只是在A后面加上B。

如果A 的大小太大以至于在删除A 之前将其复制为文件C 对磁盘空间来说太昂贵，则这是必要的。

可以接受通过os.system 调用的 bash 解决方案

Answer 1

您也许可以摆脱命名管道。您有一个 Python 进程运行，它创建一个管道并以写入模式打开它。然后它已经输出到 CSV 文件的按列连接（类似于你所拥有的）......当另一个进程开始读取该文件时，它将能够使用数据，但实际上没有文件被存储在服务器上，它只是按需提供的。当“文件”被消耗掉时，里面就什么都没有了，任何访问它的尝试都会阻塞，直到另一个进程写入另一端。

一些虚拟代码 - 需要更多深思熟虑的异常处理等...：

import os
from itertools import izip

a = 'abcdef' # File A's rows
b = 'ghijkl' # File B's rows

outname = 'joined'

try:
    os.unlink(outname)
    os.mkfifo(outname)
except OSError:
    pass

with open(outname, 'w') as fout:
    for items in izip(a, b):
        fout.write(''.join(items) + '\n') # Do "real" write here instead...
    os.unlink(outname)

其他东西以读取模式打开该“文件”并使用它来检索数据。除非该进程必须具有“物理文件”，否则这应该可以工作...

Answer 2

如果您获得同一个文件的两个文件句柄 - 一个处于“读取”模式，一个处于“更新”模式 (r+b)，则应该使用相同的策略。

from itertools import izip
import csv
with open('A','rb') as f1, open('B','rb') as f2, open('A','r+b') as w:
    writer = csv.writer(w)
    for r1,r2 in izip(csv.reader(f1),csv.reader(f2)):
        writer.writerow(r1+r2)

如果可能的话，我建议不要这样做，直接写入第三个文件。