【问题标题】:How to send out a large XML file to downstream services如何将大型 XML 文件发送到下游服务
【发布时间】:2021-10-09 22:33:10
【问题描述】:

我有一个服务,它调用外部 API 来获取一个大的 xml 文件,对这个 xml 进行一些过滤并将新的 xml 发送到多个下游服务。

我想知道如何实现这一点。我应该将文件拆分成多个小文件并通过一些工具发送出去吗?或者,我应该直接使用 Spark 吗?或者,我应该使用消息队列将xml文件中的消息逐行发送出去吗?

如果您有任何建议或意见,我将不胜感激。非常感谢!

【问题讨论】:

    标签: xml apache-spark message-queue


    【解决方案1】:

    这通常取决于您发送到哪种下游服务。很少有人提供压缩技术,您可以将大 xml 消息包装成字节消息,接收者可以将其转换回原始 xml

    【讨论】:

    • 感谢您的建议。这可能是减少流量的明智选择。
    猜你喜欢
    • 2012-01-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-11-03
    • 1970-01-01
    • 2014-02-23
    • 1970-01-01
    相关资源
    最近更新 更多