如何展平 RDD<List>？

Question

我是 Spark 的新手，我使用 Java 进行函数式编程，并将 Casandra 作为数据源。 作为地图任务的输出，我得到了一个字符串列表。

JavaRDD<List<String>> crows = sessions.map(new Function<Session, List<String>>() {});

我想从JavaRDD<List<String>> to JavaRDD<String> 类型转换变量 crows，即想要变平。 有人可以建议一种方法吗？

Answer 1

根据@UniLocal，以下工作：

JavaRDD<String> crows = sessions.flatMap(new FlatMapFunction<Session, String>() {
    public Iterable<String>  call(T x) {
        List<String> someList = ...
        return someList;
    }
});