API导入大数据答案

【问题标题】：Importing large data by APIAPI导入大数据
【发布时间】：2012-10-05 15:25:51
【问题描述】：

我正在尝试开发一个系统，在该系统中我将通过提供的 API 将我的数据库与 3-Party 数据库同步。 API 有格式，我们可以提供 From-Date 和 To-Date

问题

注意：根据之前的要求，我已经开发了系统，我可以在其中指定更新记录的开始日期和结束日期（它通过 GUI 完成，没有使用 ajax ）。即使我请求 1 天的记录，系统也会出现超时错误。

注意 2： 我真的不应该说，但客户太严格了（愚蠢）；（他只需要解决方案，别无他法

【问题讨论】：

【解决方案1】：

如果数据太大而无法通过任何给定查询检索，您只需要通过 ID 进行检索。找出一个合适的大小（100 条记录？250 条？），然后按该大小的组旋转系统中的每条记录。

你没有说你是拉下数据，推高数据，还是两者兼而有之。如果你只是把它拉下来，那是你能做的最好的事情，随着更多记录的添加，它会变得越来越慢。如果您只是推送它，那么您可以跟踪“推送日期”。如果两者都是，你如何解决冲突？

【讨论】：

【解决方案2】：

假设数据不需要是“新鲜的”，你能不能编写一个进程来每小时/每晚运行一次，获取那几天的数据并将其处理到你的数据库中？

显然，这只有在您确定以前的记录没有更新时才有效？

API 是否提供批处理？

您为什么选择使用 Ajax 的 Web 客户端来处理这些数据？ Windows / 控制台应用程序会更适合吗？

【讨论】：