企业应用程序之间的大数据传输[关闭]

Question

发布大型数据以在企业应用程序中处理的最佳方式是什么？

数据

1. 最大数据量为 1 GB
2. 消耗后，可以移除（如果已处理）；不需要持久化。

我们可以看看 JMS 技术/Kafka 集群来接收和分发数据吗？数据必须被完全消费，只有一个，并且不能在多个消费者之间共享（分区）。

还有哪些可以探索的选项？

Answer 1

Apache KAFKA 的设计目的是处理实时数据流，而不是大数据传输。消息也不会删除，而是提交。您还需要执行一次处理。 KAFKA 本身不支持 JTA。我建议不要使用大消息。

无论您使用何种其他队列技术，您都需要使用小于 1GB 的消息大小（即，您需要对数据进行分块并重新组合或使您的处理流类似于批量而不是批量）。