在Java spark中，如何根据索引选择列答案

【问题标题】：In Java spark, how to select columns based on index在Java spark中，如何根据索引选择列
【发布时间】：2022-08-23 15:25:28
【问题描述】：

我如何只能从 java spark 中的 csv 文件（文件中没有列名）中选择第 2 列和第 5 列，代码如下：

Dataset<Row> dataset = getSparkSession().get().read()
                .option(\"delimiter\", \"|\")
                .option(\"header\", false)
                .csv(fileName);

如果你这样阅读文件，那么_c1 和_c4 分别是第二和第五列。

标签： java apache-spark apache-spark-dataset

【解决方案1】：

您将通过以下命令获取架构：

dataset.printSchema();

之后选择你想要的列

dataset.select("c1",c4");

【讨论】：