传输批量数据的最佳方式

Question

我有两个要求，都涉及数据传输。 在第一个中，我有一个应用程序“A”，它的数据库临时表中有数据，这些数据必须传输到另一个应用程序“B”。这里每天需要传输大约 50k-60k 条记录。我想知道转移这个的最好方法是什么？我应该仍然遵循创建文件和传输文件的老派方法还是使用 web-API 或其他任何东西？请在 JAVA 中提出任何建议。

在第二个中，我有一个需要从应用程序“A”传输到应用程序“B”的文件。文件大小约为 10GB。实现它的最佳方法是什么？我看过 IBM ESB，还有其他更好的替代品吗？

Answer 1

这最好在任何 API 之外完成，因为它可能需要相当长的时间。

我的建议是将数据导出到 csv，将其压缩，然后通过 ftp 将其传输到其他系统。

在第二个系统上，您需要一些东西来监控您的 ftp 文件所在的文件夹，而其他东西将负责将数据输入到第二个系统中。我已经使用 Azure 云设置了这样一个系统，例如使用 Webjobs，它运行得非常好。

您还可以提出适合您具体情况的其他内容。