我有一个关于如何更新 JavaRDD 值的问题。
我有一个JavaRDD<CostedEventMessage>，其中包含有关应该将其写入 kafka 主题分区的信息的消息对象。
我正在尝试使用以下代码更改此类对象的 partitionId 字段：
rddToKafka = rddToKafka.map(event -> repartitionEvent(event, numPartitions));
repartitionEvent 逻辑在哪里：
costedEventMessage.setPartitionId(1);
return costedEventMessage;
但是修改没有发生。
您能否告知为什么以及如何正确修改 JavaRDD 中的值？
【问题讨论】：
标签： java apache-spark rdd
Spark 是惰性的，因此从您粘贴在上面的代码中，不清楚您是否真的对 JavaRDD 执行了任何操作（例如 collect 或 forEach），以及您是如何得出数据未更改的结论的。
例如，如果您假设通过运行以下代码：
List<CostedEventMessage> messagesLst = ...;
JavaRDD<CostedEventMessage> rddToKafka = javaSparkContext.parallelize(messagesLst);
rddToKafka = rddToKafka.map(event -> repartitionEvent(event, numPartitions));
messagesLst 中的每个元素都将分区设置为 1，你错了。
如果您添加例如，那将是正确的：
messagesLst = rddToKafka.collect();
更多详情请参考documentation
【讨论】：
JavaRDD<CostedEventMessage>，并且不可能调用collect()。有什么解决方案可以用来修改JavaRDD<CostedEventMessage>？