【问题标题】:sparkR: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':sparkR:实例化“org.apache.spark.sql.hive.HiveSessionState”时出错:
【发布时间】:2017-04-08 17:23:51
【问题描述】:

当我尝试使用 sparkR 时,我正在努力解决这个问题。

sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory = "1g"))
Error in handleErrors(returnStatus, conn) : 
  java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':
    at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:981)
    at org.apache.spark.sql.SparkSession.sessionState$lzycompute(SparkSession.scala:110)
    at org.apache.spark.sql.SparkSession.sessionState(SparkSession.scala:109)
    at org.apache.spark.sql.api.r.SQLUtils$$anonfun$setSparkContextSessionConf$2.apply(SQLUtils.scala:67)
    at org.apache.spark.sql.api.r.SQLUtils$$anonfun$setSparkContextSessionConf$2.apply(SQLUtils.scala:66)
    at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:733)
    at scala.collection.Iterator$class.foreach(Iterator.scala:893)
    at scala.collection.AbstractIterator.foreach(Iterator.scala:1336)
    at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
    at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
    at scala.collection.Traversabl

希望这是一个明确的解决方案,我是 spark 新手,我对 java scala 一无所知。非常感谢!

【问题讨论】:

    标签: java scala apache-spark sparkr


    【解决方案1】:

    我有同样的错误。看起来它与用户权限有关。因此,您有两个选择:

    1) 从您拥有必要权限的目录启动 sparkR(前提条件:spark bin 文件夹需要包含在 PATH 环境变量中:export PATH=$SPARK_HOME/bin:$PATH):

    cd ~
    sparkR
    

    2) 使用 sudo 权限启动 sparkR:

    /opt/spark/bin $ sudo ./sparkR
    

    【讨论】:

      【解决方案2】:

      请尝试从环境变量中删除HADOOP_CONF_DIR

      【讨论】:

        猜你喜欢
        • 2017-10-02
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2019-07-26
        • 1970-01-01
        • 1970-01-01
        • 2015-01-02
        相关资源
        最近更新 更多