【发布时间】：2013-12-12 21:49:46
【问题描述】：
我有一个驻留在 Apache Cassandra 中的数据，我想使用 hadoop 生态系统工具执行 map/reduce 作业。
如何将数据从 Cassandra 加载到 HDFS？
除了Cassandra storage handler/brisk之外还有其他的storage handler吗？
【问题讨论】：
标签： hadoop cassandra hive apache-pig hdfs
【发布时间】：2013-12-12 21:49:46
【问题描述】：
Netflix 有一个名为 Aegisthus 的新工具试图解决这个问题。
Cassandra 外的批量数据管道。 Aegisthus 实现了一个阅读器 对于 SSTable 格式，并提供了一个 map/reduce 程序来创建一个 列族中包含的数据的压缩快照。
【讨论】：
考虑查看这个项目pygmalion。这将允许您将数据从 Cassandra 导出到 HDFS，然后使用 Pig latin 进行查询。
【讨论】：
您可以通过多种方式做到这一点。编写一个 MapReduce 作业以从 Cassandra 读取数据并将其写入 HDFS 或编写一个 PigLatin 脚本来执行此操作。请参阅 this 了解更多信息。
【讨论】：
-
事实上，我们想使用 hive/pig 等生态系统工具为 hadoop 加载 cassandra 数据。实际上，由于 Cassandra Storage Handler，我们在访问数据时遇到了问题。使用 Pig，它只能在本地模式下运行，我们无法在 mapreduce 模式下运行它。我们也无法通过 piglatin 将结果值存储回 cassnadra。
-
到底是什么问题？
-
我们想通过 hive 将数据从 cassandra 加载到 hadoop。我的 cassandra、hadoop 和 hive 是开源发行版。我想在 java 中嵌入 hiveQL 查询。我们在使用 cassandra 存储处理程序访问数据时遇到问题。除了 cassandra 存储处理程序，我们还有其他选择吗？