一、本地调试

step1:写好程序,将master设置为local或者local[n]或者local[*]。
step2:如果应到HDFS,可能会遇到winuntils找不到的问题,需要将HADOOP_HOME环境加入IDEA。
方法1:下载对应hadoop-common-bin-2.7.3-x64.rar对应版本文件,解压到磁盘,在本机环境中添加。
方法2:下载对应hadoop-common-bin-2.7.3-x64.rar对应版本文件,解压到磁盘,在IDEA添加。
Spark调试

Spark调试
Spark调试
添加对应文件的bin目录即可。

二、远程调试

其原理就是将IDEA作为Driver,因此jar包还是需要打的。
Spark调试
在配置中加入setJars(List(Jar_PATH)),以及setIfMissing(“spark.driver.host”,本机IP)
获取方式:cmd中输入ifconfig,本机和集群是同一网段。

相关文章:

  • 2021-09-14
  • 2021-12-17
  • 2021-12-10
  • 2022-01-06
  • 2021-06-26
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2021-11-13
  • 2022-12-23
  • 2021-12-05
  • 2021-04-11
  • 2021-11-26
  • 2021-12-04
相关资源
相似解决方案