从 String Spark Java 创建数据集（无 RDD）

【问题标题】：Create a Dataset from String Spark Java (Without RDD)从 String Spark Java 创建数据集（无 RDD）
【发布时间】：2019-05-04 20:09:05
【问题描述】：

我需要从String 创建一个Dataset。 键是字符串

Header h = new Header();
                    h.setName(Key);
                    SQLContext sqlC = spark.sqlContext();     
                    Dataset<String> ds = sqlC.createDataset(Collections.singletonList(h), Encoders.STRING());
                    ds.show();

我需要将它写入txt文件（有吗？我现在正在使用csv）

ds.write().format("com.databricks.spark.csv").mode("overwrite")
                .save(SomeLocation);

【问题讨论】：

标签： java apache-spark dataset

【解决方案1】：

来自文档df.write.text()：

https://spark.apache.org/docs/2.3.0/api/java/org/apache/spark/sql/DataFrameWriter.html#text-java.lang.String-

【讨论】：

感谢 Lior，我一直坚持从字符串创建数据集
不客气。在我看来，您被卡住的原因是您的收藏是 Header 对象。不适合编码器.STRING。您可以使用javaSparkContext.parallelize(Collections.singletonList(h)) 得到JavaRDD<Header>，然后使用map 函数将其转换为JavaRDD<String>，最后调用toDF() 将其转换为数据帧。或者，您可以从 JavaRDD 直接调用 spark.apache.org/docs/2.3.0/api/java/org/apache/spark/api/java/…