如何从 Apache Spark (pyspark) 中的数据集中获取某些列？

Question

我有一个包含四列数据的数据集。

例如：

a  b  c  d
1, 2, 3, 4

...

使用 pyspark，如何仅检索列 a 和 b 的数据？我是 spark 新手，尝试过很多事情，包括：

 dataset = data_raw.filter(lambda line: line != dataset_header) \
.map(lambda line: line.split(", ", maxsplit=2)).take(1)

但这似乎没有给我所需的目标。我想要的只是拥有a 和b 列并丢弃数据集的其余部分。任何帮助将不胜感激。

Answer 1

你有没有试过Select只选择两列的方法..

dataset.select('a','b').show()

我认为您应该将 csv 阅读器用于旅游数据集。

sc.textFile("file.csv") \
.map(lambda line: line.split(",")) \
.filter(lambda line: len(line)<=1) \
.collect()

Answer 2

我不确定如果代码可以正常运行，它是否会达到您的预期。请参阅documentation 获取split 以获得更清晰的信息。这是一个简单的例子：

my_string = '1, 2, 3, 4'
result = my_string.split(', ', maxsplit=2)

print(result)
['1', '2', '3, 4']

如您所见，当您仅拆分 ', ' 的前两个实例时，您最终会得到三个元素。

除了那个小细节你试过了吗：

dataset = data_raw.filter(lambda line: line != dataset_header) \
    .map(lambda line: line.split(', ')[:2])

编辑

为了回应您的评论，我刚刚用您的示例数据加载了一个 spark RDD 并进行了测试。下面是结果图片。

EDIT2

看到您注意到您的数据在 csv 中，您可以使用 SparkSession.read.csv。一旦你有了数据框，你就可以选择你的列：

df['a', 'b'].show(5)

将显示前五行。