【问题标题】:How to process super large xls files with Coldfusion 10如何使用 Coldfusion 10 处理超大 xls 文件
【发布时间】:2013-11-27 01:20:06
【问题描述】:

我们已经构建了一个电子表格解析应用程序,它允许用户轻松地将大量数据导入我们的应用程序。

我们注意到一些客户有时需要将超过 10,000 到 100,000 行的电子表格数据导入应用程序。

是否有任何其他 CF 开发人员用来处理电子表格中的大量数据的标准做法?

我们的标准解决方法是要求用户将他们的电子表格分成更小的子电子表格,以便于管理。但我希望有更好的解决方案

提前致谢

【问题讨论】:

  • 坐在我旁边的开发人员也有同样的问题。他成功处理了 10 - 20k 行。不过在那之后,他就有问题了。明天我会寻找这个问题,也许可以提供帮助。
  • 这个问题带回了java堆空间问题的不愉快回忆。根据野兽的性质,您最好让您的客户简单地上传他们的文件。然后,您可以使用数据库批量加载程序安排计划作业来完成繁重的工作。
  • 本主题可能涵盖您正在寻找的一些内容stackoverflow.com/questions/19214735/…
  • 看了那篇文章,现在我很好奇除了使用 cfspreadsheet 之外还有哪些其他选择?我们在 CF 8 的时候用过 POI,那真是让人头疼……
  • 我有很多很多的处理能力,考虑 xlsx。但实际上你需要转到正式的etl 流程

标签: coldfusion coldfusion-10 cfspreadsheet


【解决方案1】:

不要使用 ColdFusion 循环来解析和插入大文件,而是使用原生 SQL 命令,例如 BULK INSERT(在 sql server 中)和 LOAD DATA(在 mySQL 中)。

我们有适当的流程来处理、解析大文件(超过 50 万条记录)并将数据导入数据库而不会出现任何问题

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2018-08-18
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多