Spark将逗号分隔的行数组拆分为第一个值，其余的[重复]

Question

我有一个数据集：

val raw_data = sc.parallelize(Array(
    "Batch1, i, 10, j, 20",
    "Batch2, i, 20, k, 30, m,50",
    "Batch3, i, 30, n, 20, j, 30"
))

在进一步处理数据之前，我想将第一个条目或每一行拆分到它的列中。我试过了：

raw_data.map(x => x.split(",")).map(x=>(x(0), x))

然后我得到：

"Batch1", "Batch1, i, 10, j, 20",
"Batch2", "Batch2, i, 20, k, 30, m,50",
"Batch3", "Batch3, i, 30, n, 20, j, 30"

当我在 python 中工作时，我可以像这样进行索引：

x(1:)

选择第一个值之后的所有内容。 scala中有类似的东西吗？

即

raw_data.map(x => x.split(",")).map(x=>(x(0), x(1:)))

Answer 1

您可以使用head 和tail：

raw_data.map(x => x.split(", ")).map(x=>(x.head, x.tail))

如果您不想在结果中出现不必要的空格，您可能希望在 ", " 而不是 "," 上进行拆分。