【问题标题】:Xls (csv) or xml for rails importing data用于 Rails 导入数据的 Xls (csv) 或 xml
【发布时间】:2012-08-28 10:13:55
【问题描述】:

我需要将数据导入我的应用程序,现在我通过 xls 电子表格来完成,但在我的情况下,它有大约 80.000 行时速度很慢,所以也许选择另一种格式更好?例如,xml数据在导入时会更快吗?

【问题讨论】:

    标签: ruby-on-rails xml csv xls


    【解决方案1】:

    XML 不太可能更快 - 它仍然需要被解析为字符串并进行转换。

    80,000 行是相当多的。你需要多长时间?

    编辑:

    您可以通过将带有时间戳的 puts 语句放入代码中来使正在发生的事情更加明显。这很粗糙,但是您可以在代码的各个部分之间计时,看看哪个部分花费的时间最长。

    或者更好的是,尝试使用ruby-prof 来分析您的代码并查看代码在哪里花费的时间最多。

    无论哪种方式,更详细地了解慢点是一个好主意。 您可能会发现只有一两个瓶颈可以轻松解决。

    【讨论】:

    • 3.2.8,fastcsv(标准)库,在我的电脑上大约需要一个小时(2X2.1ghz)
    • 好的,您是否对代码进行了任何分析,以确保它实际上是缓慢的 CSV 解析(而不是实例化对象)?
    • fastERcsv,在日志文件中,我会在调用此方法后看到工作,但在控制台上没有任何反应,日志完成后,控制台正在写入......所以如果在日志中它需要 30m 比之后它放在控制台/终端也 30m
    猜你喜欢
    • 2011-11-18
    • 2013-04-11
    • 1970-01-01
    • 2014-12-03
    • 1970-01-01
    • 2014-11-12
    • 2012-02-21
    • 2012-09-18
    • 1970-01-01
    相关资源
    最近更新 更多