如何在 Elastic Search 上传输和索引 Cassandra 数据？答案

【问题标题】：How to transport and index Cassandra data on Elastic Search?如何在 Elastic Search 上传输和索引 Cassandra 数据？
【发布时间】：2014-02-12 01:08:51
【问题描述】：

我正在启动一个 nodejs 应用程序，我想在 Elastic Search 上索引 Cassandra 数据，但是最好的方法是什么？解决方案。首先，我想为 Cassandra 使用一个客户端，为 Elastic Search 使用一个客户端，并在我的应用程序上应用插入/更新/删除两次，每个客户端一个，但似乎不是要走的路，我担心这个的一致性。有更好的方法来传输要在 Elastic Search 上索引的 Cassandra 数据吗？ Storm 会帮助我实现这一目标吗？有人可以建议将一个数据库数据传输到另一个数据库的任何技术吗？我真的很怀疑这里无处可寻。

【问题讨论】：

标签： nosql cassandra elasticsearch apache-storm

【解决方案1】：

您想将数据从 Cassandra 移动到 ElasticSearch 一次且仅一次？或者您想让它们保持同步？

在这两种情况下，我认为 Storm 都非常适合。我过去曾将数据从我们的 RDBMS 移动到 Apache Solr。要记住的一件事是 Solr/Elastic 搜索可以执行的写入限制。如果你增加了并行度，那么你就是让他们屈服了。

另一种选择可能是 Apache Hadoop，但它只适合一次复制，或者如果您想每天复制数据（昨天的相同数据 + 可能是新的数据）。

【讨论】：

我需要让它们保持同步，因为 Cassandra 是我的主数据库，并且 Elastic Search 将用于索引 Cassandra 数据，因为 Cassandra 没有提供我需要分析的扩展方式。但是我真的不知道如何用storm来完成这个，我不明白管道的原理是什么，以及storm将如何连接两个数据库，因为每个数据库都有自己的模式。而且我不完全了解 Java，不是我拥有的语言。
@EzequielPereira 好吧，你要么选择了错误的堆栈（因为你不认识它们），要么是某些东西强加于你 :)