使用 Talend 从 Cassandra 传输到 SQL 时数据丢失答案

【问题标题】：Data Loss while transferring from Cassandra to SQL using Talend使用 Talend 从 Cassandra 传输到 SQL 时数据丢失
【发布时间】：2018-04-13 19:17:15
【问题描述】：

我们正在使用 Talend open studio 进行从 Cassandra 到 SQL 的数据传输。在使用 Talend 作业读取数据时，有时我们会面临数据丢失的问题。而且我们找不到任何相同的错误。甚至 Cassandra 系统/调试日志也显示非常有限的信息。我们可以在 Cassandra 或 Talend Open studio 中配置任何设置来避免这种数据丢失吗？

注意：我们每小时处理 500 万条记录，丢失了大约 1% 的数据丢失。这不是一个一致的问题，而是间歇性的。

【问题讨论】：

在我看来，可能有很多点（网络、操作系统、Java、RAM/CPU）可能导致这个问题。查明 Talend 是否确实是问题所在，或者数据丢失是否事先发生，将很有帮助。我看不出你可以排除这种可能性。您应该考虑一下找出数据泄漏的位置。
有趣的问题，但非常广泛，而不是特定的编程问题。鉴于信息有限，任何答案充其量只能是猜测。
我检查了 CPU、RAM、操作系统一切正常，但在传输过程中仍然丢失了一些数据。

标签： sql cassandra talend data-migration

【解决方案1】：

在这种情况下，我在 talend 中编写了一些 java 例程，这些例程发布到 elasticsearch。根据您拥有的 talend 版本，它带有 talend。并且使用 Elastic 和 Kibana 对大型数据集进行基于日志的分析非常容易。但关键是使用 tjavarow 使用 java 例程记录成功和失败，这使得它更容易。

【讨论】：