spark-shell --master yarn启动后,

代码如下:


scala>  var rdd1=sc.makeRDD(1 to 4,2)

scala> rdd1.foreach{x=>println(x+4)}

scala> var rdd2=sc.makeRDD(1 to 12,3)

scala>  rdd2.foreachPartition{x=>println("--------------")}

scala>  rdd2.foreachPartition{x=>println(x.size)}

在交互式界面我们看不到任何结果,那么结果在哪里呢?

打开spark的web UI

master:8088

然后选择右下方的两个stdout

spark的foreach(println)看不到输出结果

因为是spark on yarn

所以当你点击stdout的时候,连接会跳转回yarn界面。

spark的foreach(println)看不到输出结果

 

spark的foreach(println)看不到输出结果

可以看到,两台机子的结果是:

5 6 7 8

和 4 4 4 4

相关文章:

  • 2022-12-23
  • 2021-08-03
  • 2021-11-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2022-01-21
  • 2022-12-23
  • 2021-07-02
  • 2021-12-16
  • 2021-10-22
  • 2021-12-31
相关资源
相似解决方案