高效连接大量列

Question

我试图在一个字符串中连接大量包含整数的列。

基本上，从：

df = pd.DataFrame({'id':[1,2,3,4],'a':[0,1,2,3], 'b':[4,5,6,7], 'c':[8,9,0,1]})

获得：

id join
0   1  481
1   2  592
2   3  603
3   4  714

我找到了几种方法来做到这一点（here 和 here）：

方法一：

conc['glued']=''
i=1
while i < len(df.columns):
        conc['glued'] = conc['glued'] + df[df.columns[i]].values.astype(str)
        i=i+1

此方法有效，但有点长（在我的 18,000 行 x 40,000 列的“测试”案例中需要 45 分钟）。我担心列上的循环，因为这个程序应该在最后应用到 600.000 列的表上，我担心它会太长。

方法2a

conc['join']=[''.join(row) for row in df[df.columns[1:]].values.astype(str)]

方法2b

conc['apply'] = df[df.columns[1:]].apply(lambda x: ''.join(x.astype(str)), axis=1)

这两种方法的效率都是前一种方法的 10 倍，对行进行迭代非常好，并且在我的“调试”表 df 上完美运行。但是，当我将它应用于 18k x 40k 的“测试”表时，它会导致MemoryError:（在读取相应的 csv 文件后，我占用了 32GB RAM 的 60%）。 我可以在不超出内存的情况下复制我的 DataFrame，但奇怪的是，应用此方法会使代码崩溃。

您知道我可以如何修复和改进此代码以使用有效的基于行的迭代吗？谢谢！

---

附录： 这是我在测试用例中使用的代码：

geno_reader = pd.read_csv(genotype_file,header=0,compression='gzip', usecols=geno_columns_names)
fimpute_geno = pd.DataFrame({'SampID': geno_reader['SampID']})

我应该使用 chunksize 选项来读取这个文件，但我还没有真正理解如何在阅读后使用它。

方法一：

fimpute_geno['Calls'] = ''
for i in range(1,len(geno_reader.columns)):
    fimpute_geno['Calls'] = fimpute_geno['Calls']\
                      + geno_reader[geno_reader.columns[i]].values.astype(int).astype(str)

这项工作需要 45 分钟。 有一些非常恶心的代码，比如.astype(int).astype(str)。我不知道为什么 Python 不能识别我的整数并将它们视为浮点数。

方法二：

fimpute_geno['Calls'] = geno_reader[geno_reader.columns[1:]]\
                    .apply(lambda x: ''.join(x.astype(int).astype(str)), axis=1)

这导致MemoryError:

Answer 1

这里有一些东西可以尝试。不过，这将要求您将列转换为字符串。您的示例框架

    b   c   id
0   4   8   1
1   5   9   2
2   6   0   3
3   7   1   4

然后

#you could also do this conc[['b','c','id']] for the next two lines  
conc.ix[:,'b':'id'] = conc.ix[:,'b':'id'].astype('str')  
conc['join'] = np.sum(conc.ix[:,'b':'id'],axis=1)

愿意

    a   b   c   id  join
0   0   4   8   1   481
1   1   5   9   2   592
2   2   6   0   3   603
3   3   7   1   4   714