微软天蓝色的体系结构。 CSV 到 SQL

Question

我是一名实习生，负责研究一个 azure 项目。
目前我正在为项目的一部分设计架构。

目标是将多个 csv 文件转换为云中的 SQL 数据库。这些 csv 将从该国家/地区的随机位置发送并需要进行处理，以便最终可以使用 Web 服务访问数据库。

我对蔚蓝的场景完全陌生，并且一直在自学，但我脑子里有点模糊。

一些信息：

csv 是小文件，但每天会收到大约 20.000 个 是的，它需要是 SQL 存储，因为我们需要轻松地聚合数据。

csv 中有什么需要存储的内容？？
唯一的键值（字符串）
消费价值（双倍）
日期时间戳（日期时间/字符串）
质量值（int）

我想到的架构是：
对云端的 Http 请求（云端是否需要监听服务？）
在处理 csv 之前保存它们的队列服务
sql 驱动器存储（直接导入？或者我是否需要某种工人角色？）
一种 Web 服务，它将从外部 AOS 或客户端应用程序获取请求，并查询 sqlDB 中的数据。

我是否正确地假设这个问题可以通过标准组件解决，还是我需要实现一个 vm 角色？您将如何设置？

任何输入都将不胜感激，因为我真的感到迷失在云端:)
我希望我对要求有一个清晰的概述...
解释你自己没有完全掌握的东西并不容易

Answer 1

您根本不需要虚拟机角色。这是一个稻草人的想法：

• 设置一个 Web 服务，让您可以推送 csv 文件（在具有 svc 的 Web 角色中很容易做到）。让该服务方法将每个 csv 存储在某个特定容器（如“上传”）中的 Azure Blob 中，名称如“guid.csv” - 只需调用 Guid.NewGuid().ToString() 即可即时生成 guid .完成后，创建一个引用该文件名的队列消息。
• 在托管您的 svc 的同一角色实例的 Run() 方法中（只需覆盖 Run() ）或在单独的工作角色中，设置一个 while(true) 循环以仅从队列中读取以获取 csv需要导入，将 blob 读入内存流并转储到磁盘上的临时文件，然后调用本地帮助方法来解析 csv 并调用 SQL 插入。
• 设置另一个 Web 服务来检索数据。同样，这可以托管在相同的网络角色或其他网络角色中。

完全不需要虚拟机角色。

Answer 2

为什么不能只使用 BCP（批量复制）将数据直接导入 SQL Azure 有什么原因吗？ BCP 支持 CSV 文件，我怀疑您可以使用此工具创建一个非常简单的流程来每天导入数据。如果您这样做，请确保您阅读了optimize the load of the data 的一些方法。如果您拥有大型数据集，这确实会有所作为。