【问题标题】:How to get 174 GB of data into my Azure Table Storage如何将 174 GB 的数据放入我的 Azure 表存储中
【发布时间】:2012-04-04 01:01:51
【问题描述】:

我需要将 174 GB 的 XML 文件放入我的 Azure 表存储中,最好的方法是什么?上传后,应解析 XML 文件并将其内容放入 Azure 计算实例上我的 Azure 表存储中的不同表中。

【问题讨论】:

    标签: azure azure-storage azure-table-storage


    【解决方案1】:

    这是很多数据。今天,将内容导入 Windows Azure 的唯一方法是通过 HTTP 上传它们。通过大多数网络连接上传 174GB 需要很长时间。

    话虽如此,我建议将 XML 上传到 blob 存储中,然后运行代码(以工作者角色)从 blob 存储中提取 XML、解析它并将其写入表。换句话说,使用原始 XML 进行上传,然后将其转换为云中的表,其中延迟较低且带宽较高。

    【讨论】:

    • Doh,同时发布。好建议。 ;)
    • 谢谢。我也会将文件压缩成一个,但我只有一个具有 225 GB 磁盘空间的 PC 小实例,对于一次大解压缩来说太小了。
    【解决方案2】:

    我会压缩它们并将文件存储在 blob 存储中。从那里,我会将文件拉入工作角色并进行实际插入。需要注意的事项:

    1. Windows Azure 的带宽是免费的,因此上传 blob 只需要时间。
    2. 存储事务不是免费的,因此您应该尽可能尝试使用批量插入(相同的表,相同的分区键)。 100 万次插入将是 1 美元。
    3. 您将在 Windows Azure 中获得最快的性能。在实例之间并行下载文件(使用租约进行跟踪)并执行插入操作。

    【讨论】:

    • 我也会将文件压缩成一个,但我只有一个具有 225 GB 磁盘空间的 PC 小实例,对于一次大解压缩来说太小了。感谢您提供批量插入的想法,这将节省我的钱 :)
    • 对不起,我不是说要压缩成一个文件。我的意思是压缩每一个并上传,以便您以后可以并行处理它们。
    【解决方案3】:

    也许可以在您的 vm 实例中使用 Azure Drive。您将文件上传到 vm,然后上传到 Azuredrive 驱动器。

    【讨论】:

      猜你喜欢
      • 2021-12-30
      • 1970-01-01
      • 2021-07-02
      • 1970-01-01
      • 1970-01-01
      • 2012-04-29
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多