在 ruby​​ 中有效地将 Excel 转换为 CSV

Question

我使用spreadsheet gem 来执行此操作。它可以工作，但有时会很慢。我什至尝试过Roo gem，但这并没有提高性能。有没有更好的方法来完成这项工作？奇怪的是，同一个 excel 中的一些工作表工作得更快，而一些工作表工作得非常慢，甚至长达 1 小时。

我们可以使用开放式办公室在单个 excel 中打开每个工作表（选项卡）并更快地将它们转换为 csv 吗？如果是，我将如何在 ruby​​ 中做到这一点？

或者有更好的解决方案吗？

只是添加一个我用 Roo gem 尝试过的小例子

xls = Roo::Excel.new(source_excel_file)
xls.each_with_pagename do |name, sheet|
  # p sheet.to_csv(File.join(dest_csv_dir,name + ".csv"))
  #sheet.parse(:clean => true)#.to_csv(File.join(dest_csv_dir,name + ".csv"))
  puts name
  puts sheet.parse(:clean => true)
end

Answer 1

懦弱的序言：我是 ruby​​ 的超级新手，对 rails 几乎一无所知，但我之前曾与 Excel 纠缠过。我在本地机器上用 5 张纸创建了一个虚拟工作簿，每张包含 10 列和 1000 行随机生成的数字。我使用以下方法将每张工作表转换为自己的 CSV：

require 'win32ole'
require 'csv'

# configure a workbook, turn off excel alarms
xl = WIN32OLE.new('excel.application')
book = xl.workbooks.open('C:\stack\my_workbook.xlsx')
xl.displayalerts = false

# loop through all worksheets in the excel file
book.worksheets.each do |sheet|
  last_row = sheet.cells.find(what: '*', searchorder: 1, searchdirection: 2).row
  last_col = sheet.cells.find(what: '*', searchorder: 2, searchdirection: 2).column
  export = File.new('C:\\stack\\' + sheet.name + '.csv', 'w+')
  csv_row = []

  # loop through each column in each row and write to CSV
  (1..last_row).each do |xlrow|
    (1..last_col).each do |xlcol|
      csv_row << sheet.cells(xlrow, xlcol).value
    end
    export << CSV.generate_line(csv_row)
    csv_row = []
  end
end

# clean up
book.close(savechanges: 'false')
xl.displayalerts = true
xl.quit

此脚本的眼球基准约为 30 秒，每次尝试都在此之上或之下几秒钟。

Answer 2

确保您使用的是最新的 Roo (1.13.2)。

还要确保您使用的是跳过尾随空白行的补丁：

https://github.com/Empact/roo/blob/master/lib/roo/worksheet.rb

如果您可以发布一个需要很长时间才能解析的电子表格，它可能会帮助这里的人帮助您。请务必删除所有机密数据。

Answer 3

我假设我们谈论的是旧的 Excel 格式 (xls)，似乎电子表格 gem 无论如何都不能与 xlsx 一起使用。

我会尝试使用命令行 spreadhseet 转换器之一：来自 catdoc 包的 xls2csv（非常快，尽管并非所有 Excel 文件都被成功处理）或来自 gnumeric 包的 ssconvert（速度适中，并且需要安装条目GNumeric，有时不是服务器的选项，但非常强大）。

注意：在解析 Excel 时，roo 只需要电子表格并将其封装在自己的 API 中，因此它永远不会比电子表格更快或更可靠。

NB2：如果我没记错的话（以为是很久以前的事了），尝试从 ruby​​ 自动化 OpenOffice 是 a) 非常困难 b) 非常慢。

Answer 4

xls_file = Roo::Excelx.new('test.xlsx')
CSV.open('test.csv') do |csv|
    (2..xls_file.last_row).each do |i| # if you do not need header otherwise (1..xls_file.last_row)
        csv << a.row(i)
    end
end