如何在 Spark 中读取多个文本文件以进行文档聚类？答案

【问题标题】：How to read multiple text files in Spark for document clustering?如何在 Spark 中读取多个文本文件以进行文档聚类？
【发布时间】：2018-05-26 03:42:37
【问题描述】：

我想从一个目录中读取多个文本文档以进行文档聚类。为此，我想将数据读取为：

SparkConf sparkConf = new SparkConf().setAppName(appName).setMaster("local[*]").set("spark.executor.memory", "2g");
JavaSparkContext context = new JavaSparkContext(sparkConf);
SparkSession spark = SparkSession.builder().config(sparkConf).getOrCreate();
Dataset<Row> dataset = spark.read().textFile("path to directory");

这里，我不想用
JavaPairRDD 数据 = context.wholeTextFiles(path); 因为我希望 Dataset 作为返回类型。

【问题讨论】：

标签： java apache-spark machine-learning nlp hierarchical-clustering

【解决方案1】：

在 scala 中你可以这样写：

context.wholeTextFiles("...").toDS()

在java中你需要使用编码器。见the javadoc for more detail。

JavaPairRDD<String, String> rdd = context.wholeTextFiles("hdfs:///tmp/test_read");
Encoder<Tuple2<String, String>> encoder = Encoders.tuple(Encoders.STRING(), Encoders.STRING());
spark.createDataset(rdd.rdd(), encoder).show();

【讨论】：