【问题标题】:The best way to read and process email's attachments in Azure?在 Azure 中阅读和处理电子邮件附件的最佳方式是什么?
【发布时间】:2021-06-16 13:04:58
【问题描述】:

我们有一些第三方公司向我们发送电子邮件,电子邮件中附有 CSV/excel 数据文件。我想构建一个管道(最好在 ADF 中)来获取附件,将原始文件(附件)加载到 blob,处理/转换它们,最后将处理后的文件加载到 blob 中的另一个目录。

要获取附件,我想我可以使用link 中的说明(使用逻辑应用程序)。然后,使用存储触发器触发 ADF 管道,获取文件并对其进行处理,然后完成剩下的工作。

但是,首先,我不确定存储触发器的可靠性如何? 其次,虽然看起来没问题,但这种方法很难监控运行并确保一切正常。例如,如果逻辑应用因任何原因未读取/加载附件并失败,则您无法在 ADF 中获取它,因为 Blob 中没有写入任何内容来触发管道。

无论如何,这种方法好还是有更好的方法可以做到这一点?

谢谢

【问题讨论】:

    标签: azure azure-data-factory azure-logic-apps


    【解决方案1】:

    如果您能够将附件保存到 blob 或其他内容中,则可以安排一个 ADF 管道,每分钟或 5 分钟左右导入 blob 中的每个文件。

    文件是否每次都具有相同的数据结构? (这让事情变得更容易)

    最常见的是在 ADF 中安排导入,而不是根据外部事件触发。

    【讨论】:

    • 谢谢!但这并没有回答我的担忧,我仍在使用 Logic App + ADF。每 5 分钟检查一次 blob 也不是我想要的,我追求的是更优化的解决方案。
    • 可以使用 Azure 函数处理文件吗?
    • 整个解决方案分为 3 个部分:1) 获取电子邮件并将附件保存到 blob(逻辑应用程序)。 2) 处理文件(添加到逻辑应用程序或使用 adf 触发的存储的天蓝色函数)。 3)加载进程文件。一切都可以在逻辑应用程序中完成,但由于我所有的触发器和管道都是在 adf 中实现的,我想看看这些是否可以在 adf 中完成。同样,解决方案是问题而不是部分。
    猜你喜欢
    • 1970-01-01
    • 2011-01-03
    • 2011-03-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-08-04
    • 2014-05-10
    相关资源
    最近更新 更多