在 REST API 中加载大数据 - ruby​​ on rails

Question

我是 Ruby on Rails 的新手。我正在使用PostgreSQL 数据库与Ruby 和Rails 3.2.13。我们已经在PostgreSQL 数据库中创建了200K 行记录。我需要将相同的 200K 记录发送到另一个独立的windows application。为此我创建了一个 ROR REST API。目前 REST API 需要很长时间来处理数据并在 3 分钟后超时。

我一次发送 1000 条记录，以便 API 将发送 1 - 1000 然后 1001 - 2000 等等。这是避免超时。这是处理批量数据的好方法吗？

ROR 是否有任何内置函数来处理此类操作。请帮帮我。

谢谢

Answer 1

简而言之，我认为这不是传输批量数据的好方法。

抛开安全问题（这本身就是不这样做的原因），您需要处理数据/模式一致性、连接可靠性、数据类型完整性、解析和清理字符串、序列化/反序列化等...听起来像让我非常头疼。

数据库之间的批量数据传输不是 Rails 的责任/关注点。我会坚持完全在后端执行此操作，并设置一个新数据库作为主服务器的复制从属服务器。