在Spark中采用本地模式启动pyspark的命令主要包含以下参数:
–master:这个参数表示当前的pyspark要连接到哪个master,如果是local[*],就是使用本地模式启动pyspark,其中,中括号内的星号表示需要使用几个CPU核心(core);
–jars: 这个参数用于把相关的JAR包添加到CLASSPATH中;如果有多个jar包,可以使用逗号分隔符连接它们;

1比如,要采用本地模式,在4个CPU核心上运行pyspark:

  1.  
    cd ~/app/spark-2.3.0-bin-2.6.0-cdh5.7.0/
  2.  
    ./bin/pyspark --master local[4]

可以在CLASSPATH中添加code.jar,命令如下:

./bin/pyspark --master local[4] --jars code.jar 

查看完整命令方法介绍

./bin/pyspark --help

采用本地模式运行,并且使用本地所有的CPU核心。相当于bin/pyspark–master local[*]

./bin/pyspark

相关文章:

  • 2022-01-26
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-05-24
  • 2021-12-02
  • 2022-12-23
  • 2021-10-13
猜你喜欢
  • 2021-09-17
  • 2021-07-10
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-12-08
相关资源
相似解决方案