在 Java 中使用单列递增值创建 Spark 数据集

Question

Java 和 Spark 的新手在这里寻求帮助：

有没有办法创建一个包含从 1 到 n 递增值的单列数据集？

Dataset<Row> ds = ss.createDataSet("column-name", 1, 1000);

上面有点粗略，因为没有像createDataSet 这样的方法，但我正在寻找可以懒惰地创建ds 内容的方法。

Answer 1

假设你使用的是 java 8 +

int n = 1000;
List<Integer> intList = IntStream.range(1, n+1).boxed().collect(Collectors.toList());
Encoder<Integer> integerEncoder = Encoders.INT();
Dataset<Integer> primitiveDS = spark.createDataset(intList, integerEncoder);

还请记住，当您尝试在 spark 中创建数据集时，您需要创建/传递一个自生成的数据列表，该列表完全在 driver 中生成。