将多个 API 响应合并到一个大文件中并写入 Azure Blob答案

【问题标题】：Consolidating Multiple API Responses into a Single Large File and Writing to an Azure Blob将多个 API 响应合并到一个大文件中并写入 Azure Blob
【发布时间】：2015-04-28 22:51:36
【问题描述】：

我正在尝试将从 JSON REST API 返回的数据发送到 Azure 存储 Blob 上的平面文件中。我不想将每个请求的响应存储在单独的文件中，而是将响应合并成 400,000 左右的大批量（文件中每行 1 个 JSON 响应），然后编写一个大文件（~1 GB）到 Azure blob。

有没有人知道在 C# 代码中处理这个问题的好方法，或者也许有更好的方法来使用现有的工具或框架来处理它？

【问题讨论】：

标签： c# rest azure blob azure-hdinsight

【解决方案1】：

我有类似的设置，我每天记录 REST API 数据（大约 2-3GB）并将它们写入外部数据存储。

我最终使用 log4net 将文件写入本地文件，这很好，因为它可以根据日期等内容自动轮换文件。因此，您每天会得到 1 个文件。

然后您可以设置作业以使用 Azure C# SDK 上传文件。

（查看 Log4net 的 RollingFileAppender：http://logging.apache.org/log4net/release/config-examples.html - 靠近页面底部）

【讨论】：