高效地从 .xlsx 电子表格中提取工作表名称

Question

我正在将一组约 200 个 .xlsx 文件（每个文件都有多个工作表）转换为 .csv。 in2csv 允许使用 -s 开关提取单个工作表，但首先我需要从命令行获取 .xlsx 电子表格中所有工作表的名称。

我尝试过 python 的 xlrd 包，但单个文件 >100MB 需要几分钟，因为它需要加载整个工作簿才能读取工作表包装器。

我知道gnumeric ssconvert（-S 开关可以解决问题），但我宁愿不为一个功能安装 600MB 包。

有没有办法在不加载整个电子表格/工作簿的情况下提取工作表名称？如果没有，如何将每个工作表和输出分别转换为单独的输出文件？

到目前为止，以下是我的解决方案，首先是查找所有未转换文件的 bash 脚本，其次是提取工作表名称的 python 脚本。

#!/bin/bash

# Paths
RAW_DATA_DIR_EBS=/mnt/data/shared/raw
CSV_DATA_DIR_EBS=/mnt/data/shared/csv
ETL_CONVERT_DIR=$(pwd)/$(dirname "$0")

function check_conversion {
    # If filesize = 0 bytes, exit with error
    filesize=$(wc -b $1)
    if [ $filesize == 0 ]; then
        echo "ERROR: conversion failed. Empty output file: $1"
        exit 1
    fi;
}

# For each data source directory
for source in $RAW_DATA_DIR_EBS/; do
    dir=$(basename $source)    

    # Create output dir if absent
    mkdir -p $CSV_DATA_DIR_EBS/$dir

    # For each file for that source
    for fin in $RAW_DATA_DIR_EBS/$dir/*.xlsx; do

        # Get sheet names and store in array
        echo "Obtaining worksheet names from $fin"
        sheets=$(python $ETL_CONVERT_DIR/check_sheet_names.py -x $fin | tr -d '[]' | tr -d [:punct:])
        IFS="," read -r -a sheets_array <<< "$sheets"   

        if [ ${#sheets_array[@]} == 1 ]; then

            # Just one sheet
            fout=$CSV_DATA_DIR_EBS/$dir/$(basename "$fin" .xlsx).csv
            if [ ! -e $fout ]; then
                echo "Converting worksheet in $fin ..."
                in2csv -e utf-8 $fin > $fout;
                check_conversion $fout
                gzip $fout
            else
                echo "Spreadsheet $fin already converted:" $fout;
            fi;

        else

            # Multiple sheets
            for sheet in $sheets; do
                fout=$CSV_DATA_DIR_EBS/$dir/$(basename "$fin" .xlsx)__sheet_"${sheet}".csv
                if [ ! -e $fout ]; then
                    echo "Converting worksheet $sheet in $fin ..."
                    in2csv -e utf-8 --sheet $sheet $fin > $fout;
                    check_conversion $fout;
                    gzip $fout
                else
                    echo "Spreadsheet $fin already converted:" $fout
                fi;
            done;
        fi;
    done;

done;
exit 0

#!/usr/bin/env python
''' check_sheet_names.py

Get names of worksheets contained in an .xlsx spreadsheet
'''

import xlrd
import argparse

if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='CLI')
    parser.add_argument('--xlsx', '-x', type=str, required=True)
    args = parser.parse_args()

    xls = xlrd.open_workbook(args.xlsx, on_demand=True)
    print(xls.sheet_names())
    xls.release_resources()
    del xls

Answer 1

-n 标志将提供 xlsx 文档中不同工作表的名称。

in2csv -n filename.xlsx