【问题标题】:Extract columns with first few characters of the column name from multiple csv从多个csv中提取列名前几个字符的列
【发布时间】:2021-03-16 09:35:23
【问题描述】:

我正在尝试从多个 csv 文件中提取特定列并将它们合并为一个。每个文件包含 265 列,提取具有索引号的特定列非常困难。他们是否能高效地完成这些任务。

我有大约 120 个 csv 文件。

【问题讨论】:

  • 您能否提供有关 csv 的更多信息?你想拿什么栏目?您是否使用“,”作为分隔符?
  • 嗨@Keredu,感谢您的回复。我附上了一个巨大的列集的小sn-p。并且各列的行是不同的。是的,它们是“,”分隔的。
  • 请包含您已经尝试过的python代码

标签: python pandas numpy csv group-concat


【解决方案1】:

这是 pandas 中的一种解决方案,可以从当前目录中的所有 *.csv 文件中按名称提取两列。

代码:

import pandas as pd
from glob import glob
seek_cols = ["FccFaultB1", "FccFaultB2"]
infiles = glob("*.csv")

df = pd.DataFrame(columns=seek_cols)

for infile in infiles:
    data = pd.read_csv(infile)[seek_cols]
    df = df.append(data)

在我的例子中,test1.csv:

FccFaultB0,FccFaultB1,FccFaultB2,FccFaultB3
0,0,0,0

和 test2.csv:

FccFaultB0,FccFaultB1,FccFaultB2,FccFaultB3
1,1,1,1

导致df:

  FccFaultB1 FccFaultB2
0          1          1
0          0          0

【讨论】:

  • 谢谢@Joe。这看起来是一个很好的解决方案。但是有什么方法可以一次提取两列以上。我使用 iloc 并尝试使用列索引提取 20 列。一次,但它显示超出边界错误。
猜你喜欢
  • 2018-12-06
  • 1970-01-01
  • 2022-06-10
  • 1970-01-01
  • 2022-11-16
  • 2021-06-24
  • 1970-01-01
  • 1970-01-01
  • 2018-12-03
相关资源
最近更新 更多