【问题标题】:XML To Custom SQL TablesXML 到自定义 SQL 表
【发布时间】:2014-03-05 20:15:49
【问题描述】:

我每天收到一个大型 XML 数据馈送 (5GB)(我需要通过 HTTP 获取)。这个提要代表了一些对我的需要来说太复杂的表格,我想尽可能地减少它们。我已经改进了表格设计,只包含我绝对需要的东西,但我不确定最快的技术是什么。

我正在 Azure 中执行此操作,使用 C# .NET 4.5 并使用 SQL Server(如果我的记忆正确,则为 2012)。我希望 SSIS 是最好的选择,但我不相信 Azure 目前支持它。如果确实如此(我找不到任何支持这一点的文档),您能否指出一些示例/文档?

谢谢!

【问题讨论】:

    标签: c# sql-server xml azure ssis


    【解决方案1】:

    您可以将 XML 数据提要上传到 Azure 表存储,然后通过 Web 作业对其进行处理(请参阅:http://www.windowsazure.com/en-us/documentation/articles/web-sites-create-web-jobs/)。

    由于您提到您会收到每日提要,因此可以安排网络作业。

    【讨论】:

    • 如何从表存储转到 SQL?另外,什么会将提要放入表格存储中?该部分需要计时,而不是处理部分。
    • 您说“我每天都有一个大型 XML 数据馈送 (5GB) 丢给我”,但没有提及这是如何完成的。发件人可以将其直接放到 Azure 中吗?您的 Web 作业将读取 XML 数据提要并执行您需要执行的任何处理以“修剪”并将结果插入 SQL。
    • 我用错了术语。我需要通过 HTTP 获取(使用该详细信息更新的问题)。所以我需要能够 ping 一个 http/ftp URL,当文件在那里时,获取它,然后将它扔到 SQL Azure 中。
    • 这一切仍然适用。请参阅此附加资源:asp.net/aspnet/overview/developing-apps-with-windows-azure/…。创建计划作业以 ping 服务器并通过 HTTP 下载并存储在 Azure 表存储中。
    • 嘿,你会如何把它放到 SQL 中?我知道我必须通过 streamreader 流式传输它才能通过 C# 进行。但是真的没有办法为此在 Azure 中调用 SSIS 吗?
    猜你喜欢
    • 2021-07-03
    • 1970-01-01
    • 2017-04-02
    • 2020-09-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-04-01
    • 1970-01-01
    相关资源
    最近更新 更多