Hadoop Cassandra 集成设计

Question

我有3 Cassandra nodes，比如说c1,c2 and c3。我想将 Hadoop 与 Cassandra 集成，这样我就可以在 Hadoop 上运行我的猪脚本来从 Cassandra 读取数据并对其进行分析。所以我已经像这样h1 as name-node , h2 as data-node, c1 as data-node and c3 as data-node. Here h2 node is a only hadoop data-node and not with the any Cassandra node 设置了hadoop。我的问题是 while reading and processing data through pig/mapredude does it uses h2 data-node?

Answer 1

如果我错了，请纠正我，但是您不需要在所有 cassandra 节点上安装 hadoop 数据节点吗？ 我的理解是 map-reduce 在减少数据之前使用 HDFS 数据节点来存储中间结果。所以我认为很有可能使用H2。这是我的猜测，我期待更正