Web api批量数据（百万）导入使用Batching

Question

我需要导入数千个 json 数据（从 UI 发布）。从 ui 以 json 形式发布到 webapi。

我正在考虑按照以下提到的步骤进行技术设计

1.将json数据保存到服务器位置的文件（.json）中，并在数据库表中以新状态创建条目json文件路径。

2.我将开发Window服务作为后台服务，它将获取json文件，验证json数据并将其导入数据库表中。在处理时，状态将是InProcess。在处理数据时，我将使用并行任务库创建 1000 条记录

3.成功后处理状态将处于完成状态

这是处理数据的最佳方式吗？

是否可以使用某种模式验证 json？怎么样？

在处理、验证 json 大小、特殊包机等方面我需要注意什么

Answer 1

以下是我对您的问题的看法：

• 如果是大文件，在后台进行批处理是一个不错的选择，因为在处理数据时不会阻塞用户界面。
• 您可以按照您所说的使用 Windows 服务进行处理。但是，我建议您查看Hangfire。它认为它可能是您的场景的不错选择，但您必须看到它并做出决定。
• 小心使用 PTL（并行任务库）。如果您没有良好的实践，您可能会得到比使用单个流程更糟糕的结果。检查此suggested link。
• 检查另一个 link 关于 Json 模式验证。
• 最后但并非最不重要的一点是，评估在流程完成时通知您的用户是否合适。可能是 UI 中的通知或电子邮件。