在实时 XML 数据中进行大查询是否值得？

【问题标题】：Is it worthwhile to Big Query in realtime XML Data?在实时 XML 数据中进行大查询是否值得？
【发布时间】：2012-07-05 15:00:43
【问题描述】：

我有一个大约 2 MB 的 xml 文件（是的 !! 2MB 小文件），我想以某种预定格式对文件进行排序，并显示格式化结果，因为整个过程需要 2 - 3 秒，我们想减少时间。

我的问题是 (a) 将 XML 直接推送到大查询而不是 CSV 的任何方式。 (b) 我想做实时的，所以我如何从我的网站推送数据，并将数据取回我的网站。（你认为命令行可以解决问题吗？ (c) 我正在开发 .NET。

【问题讨论】：

【解决方案1】：

我认为您不能将 XML 直接推送到 BigQuery。 documentation 没有说“您不能导入 XML”。但它只解释了如何使用 CSV，这一事实非常清楚。

这听起来不像是 BigQuery 的完美用例。 BigQuery 非常适合处理大量数据，但您的数据量很小（如您所述）。在内存中对 XML 进行排序而不将其推送到其他地方不是更快吗？

【讨论】：

加上大查询作业是异步的，并且可以保持待处理状态一段时间，因此它可能不会改善响应时间。事实上，对于一项任务，除了更好的算法之外，很少有这样的小事情会降低响应时间。