【发布时间】：2016-12-24 04:00:37
【问题描述】：
在 Spark 中，我将一个数据集加载为 RDD，并且喜欢不经常地将流数据附加到它。我知道 RDD 是不可变的，因为它简化了锁定等。其他方法可以将静态数据和流数据一起处理吗？
之前有人问过类似的问题： Spark : How to append to cached rdd?
【问题讨论】：
标签： apache-spark
【发布时间】：2016-12-24 04:00:37
【问题描述】：
看看http://spark.apache.org/streaming/。
使用 Spark Streaming，您可以获得一个表示可以迭代的 RDD 集合的数据结构。它可以侦听 kafka 队列、文件系统等以查找要包含在下一个 RDD 中的新数据。
或者如果你很少做这些“追加”，你可以联合两个具有相同架构的 RDD 来获得一个新的组合 RDD。
【讨论】：
-
谢谢布赖恩。 Spark 流似乎接近我真正想要的；一个分布式的、可变的表。我尽量避免联合操作，因为我的静态数据很大。