使用IDEA调试spark程序时,spark通过thriftserver访问hive的元数据信息,如果不设置spark的warehouse目录会报nameservice1异常;这是因为本地目录访问不到nameservice信息,需要将nameservices配置到spark中。

二、问题解决

1、将CDH平台的hdfs-site.xml文件拷贝到spark的conf目录中

2、使用config方式配置warehouse路径

  config(“spark.sql.warehouse.dir”,“hdfs://192.168.86.120:9000/usr/hive/warehouse”)

或者使用:

3、使用config方式配置nameservices路径

config(“dfs.ha.namenodes.nameservices”,“192.168.86.120,192.168.86.121”)

相关文章:

  • 2022-12-23
  • 2021-09-02
  • 2022-02-04
  • 2021-04-23
  • 2022-02-21
  • 2022-01-27
  • 2021-11-16
  • 2021-09-06
猜你喜欢
  • 2022-12-23
  • 2021-11-14
  • 2022-01-05
  • 2021-10-06
  • 2022-01-26
  • 2022-12-23
相关资源
相似解决方案