【问题标题】:How to merge multiple Excel files from a folder and it's sub folders using Python如何使用 Python 合并文件夹中的多个 Excel 文件及其子文件夹
【发布时间】:2018-09-04 18:25:47
【问题描述】:

我在给定文件夹中有多个 Excel 电子表格,它是子文件夹。都具有相同的文件名字符串,后缀为日期和时间。如何将它们全部合并到一个文件中,同时将工作表名称和标题作为附加数据框的索引。通常在子文件夹中会有大约 100 个文件的每个文件 200 KB 的小块,或在子文件夹中大约 10 个文件的 20 MB 的小块

【问题讨论】:

  • 您能告诉我们到目前为止您尝试了什么吗?
  • 你试过pandas.read_excel()吗?它返回一个sheet_name: DataFrame 的字典。
  • 我尝试过使用静态文件名定义进行操作,如果它从动态文件列表选择中通过列标题进行安慰会很好,以 .xls* (xls / xlsx / xlsb / xlsm) 开头和.csv 和 .txt 将 pandas 导入为 pd db = pd.read_excel("/data/Sites/Cluster1 0815.xlsx") db1 = pd.read_excel("/data/Sites/Cluster2 0815.xlsx") db2 = read_excel(" /data/Sites/Cluster3 0815.xlsx") sdb = db.append(db1) sdb = sdb.append(db2) sdb.to_csv("/data/Sites/sites db.csv", index = False, na_rep = " NA",标题=无)

标签: python


【解决方案1】:
This may help you to merge all the xlsx file in current directory.

import glob
import os
import pandas as pd

output = pd.DataFrame()
for file in glob.glob(os.getcwd()+"\\*.xlsx"):
    cn = pd.read_excel(file)
    output = output.append(cn)
output.to_csv(os.getcwd()+"\\outPut.csv", index = False, na_rep = "NA", header=None)
print("Completed +::" )


Note : you need xlrd-1.1.0 library along with pandas to read xlsx files.

【讨论】:

  • 嗨,Hemadri,非常感谢,它可以在 4 个 94 MB 的示例文件上运行代码,输出以 CSV 格式显示,记录数约为 150 万
  • 上面的脚本可以很好地对对称数据帧进行正确排序,而输入是按分类索引排列的,Pandas 尝试推送按 zigzag 列顺序排序的输出,并警告它将支持即将到来的排序发布
【解决方案2】:

我尝试过使用静态文件名定义进行操作,如果它从动态文件列表选择中通过列标题进行安慰会很好,以 .xls* (xls / xlsx / xlsb / xlsm) 和 .csv 和 .txt 开头

将熊猫导入为 pd

db = pd.read_excel("/data/Sites/Cluster1 0815.xlsx")

db1 = pd.read_excel("/data/Sites/Cluster2 0815.xlsx")

db2 = read_excel("/data/Sites/Cluster3 0815.xlsx")

sdb = db.append(db1)

sdb = sdb.append(db2)

sdb.to_csv("/data/Sites/sites db.csv", index = False, na_rep = "NA", header=None)

【讨论】:

    【解决方案3】:

    发现动态文件列表合并具有以下输出。然而,处理时间必须计算......

    gur.com/QKTKw.jpg

    【讨论】:

      【解决方案4】:

      在批处理文件上运行时,生成的代码如下错误(请注意,这些文件携带的信息不对称)是快照:

      【讨论】:

        猜你喜欢
        • 2014-02-09
        • 2021-05-17
        • 2019-11-24
        • 1970-01-01
        • 2021-11-22
        • 1970-01-01
        • 1970-01-01
        • 2016-07-24
        • 1970-01-01
        相关资源
        最近更新 更多