处理大量日志/事务

Question

我们有一个部署在三个不同数据中心的多线程企业应用程序，它们从上游系统接收队列中的 XML 消息。应用程序消耗的数据量非常巨大，系统写入的日志大约为 200GB/小时。日志的维护时间非常短。该应用程序基本上写入 cassandra DB / IBM Extreme Scale Grid / Oracle DB。现在确切的问题是，我们没有跟踪应用程序接收/处理的事务。就是说，上游系统存在很多数据同步问题，我们无法跟踪一段时间后我们是否成功接收/处理了消息。由于我们的基础设施限制，我们也没有能力保存消息或将日志重定向到任何大数据文件系统。有没有办法可以解决这个问题。请提供您的cmets和建议。提前致谢。

Answer 1

对于问题确定，最简单和最简单的方法是确保每条 XML 消息都有一个唯一的事务 ID。因此，您的应用程序记录/存储事务 ID，而不是整个 XML 消息。当出现问题时，您可以比较缺少/缺失的事务 ID。以及缺少的事务 id，您让发送方应用程序重新发送 XML 消息。