Spark：具有不同核心数的不同输出

Question

当我更改 Spark 应用程序中的内核数量时，我遇到了一个奇怪的行为，代码如下：

import org.apache.log4j.{Level, Logger}
import org.apache.spark.{SparkContext, SparkConf}
object Test extends App {
Logger.getLogger("org").setLevel(Level.WARN)
var listLink: List[String] = List()
def addListLink(s: String) = {
val list = s.split(",")
for (i <- 0 to list.length - 2) {
  listLink = list(i)+ "-" + list(i + 1) :: listLink
 }
}
val conf = new SparkConf().setMaster("local[1]").setAppName("Simple Application")
val sc = new SparkContext(conf)
val paths = sc.textFile("file:///tmp/percorsi.txt")
paths.foreach(x => addListLink(x))
println("Number of items:"+listLink.size)
println(listLink)
}

我的输入文件是这样的：

A,B,C,D
A,B,C,D
A,B,C,D
A,B,C,D
A,B,C,D
A,B,C,D
A,B,C
A,B,C
A,B,C
A,B,C
A,B,C
B,C,D
B,C,D
B,C,D
B,C,D
C,D
C,D

基本上，对于我调用我的方法的每条路径，它都会将一个元素添加到一个表示每两个连续元素的列表中：

示例："A,B,C,D" => ("A-B","B-C","C-D")

如您所见，代码中只有一个核心

.setMaster("local[1]")

如果我运行我的应用程序（本地或集群上），我会得到我期望的结果

println("Number of items:"+listLink.size)
//Result --> Number of Items : 38

如果我将核心数更改为 3（例如），我会得到不同的值。 例如 33 个项目而不是 38 个。

我是否遗漏了有关核心数量或其他内容（分区、ecc...）的信息？

我认为这是一个非常简单的应用程序，但无论如何我都会遇到这种奇怪的行为。

谁能帮帮我？

提前致谢

FF

Answer 1

每个分区有一个单独的listLink。因此，您将项目添加到多个列表中，最后只打印一个。

通常，当函数传递给 Spark 操作（例如 map 或 reduce) 在远程集群节点上执行，它单独工作 函数中使用的所有变量的副本。这些变量是 复制到每台机器，并且不更新远程变量 机器被传播回驱动程序。

（从这里https://spark.apache.org/docs/latest/programming-guide.html#shared-variables）

今天是你的幸运日：

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import scala.collection.mutable.ArrayBuffer


val data = List(
"A,B,C,D",
"A,B,C,D",
"A,B,C,D",
"A,B,C,D",
"A,B,C,D",
"A,B,C,D",
"A,B,C",
"A,B,C",
"A,B,C",
"A,B,C",
"A,B,C",
"B,C,D",
"B,C,D",
"B,C,D",
"B,C,D",
"C,D",
"C,D")

val conf = new SparkConf().setAppName("spark-scratch").setMaster("local")
val sc= new SparkContext(conf)


val dataRDD = sc.makeRDD(data, 1)
val linkRDD = dataRDD.flatMap(_.split(",").sliding(2).map{_.mkString("", "-", "")})

linkRDD.foreach(println)

输出：

A-B
B-C
C-D
A-B
B-C
C-D
A-B
B-C
C-D
A-B
B-C
C-D
A-B
B-C
C-D
A-B
B-C
C-D
A-B
B-C
A-B
B-C
A-B
B-C
A-B
B-C
A-B
B-C
B-C
C-D
B-C
C-D
B-C
C-D
B-C
C-D
C-D
C-D