【问题标题】:Unable to start bin/dse spark-sql. File not exception /tmp/hive无法启动 bin/dse spark-sql。文件不例外 /tmp/hive
【发布时间】:2018-11-04 12:46:34
【问题描述】:

我正在尝试在 DSE cassandra 上运行以下命令:-

dse$ bin/dse spark-sql

它给出以下错误:-

2018-05-24 16:59:41 [main] ERROR o.a.s.d.DseSparkSubmitBootstrapper - Failed to start or submit Spark application - see details in the log file(s): /home/aditya/.spark-sql-shell.log
java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxrwxr-x
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522) ~[hive-exec-1.2.1.spark2.jar:1.2.1.spark2]
at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver$.main(SparkSQLCLIDriver.scala:114) ~[spark-hive-thriftserver_2.11-2.0.2.16.jar:2.0.2.16]
at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDriver.scala) ~[spark-hive-thriftserver_2.11-2.0.2.16.jar:2.0.2.16]

我不明白这是权限问题还是其他问题,但目录具有所有权限。

谢谢,

【问题讨论】:

  • 它谈论 DSEFS 上的目录 - 运行 dse fs 然后从那里执行 ls -ls /tmp/hive
  • 嗨@AlexOtt - 感谢您的帮助,我在正常模式下启动 dse。我必须使用 -k 启动 cassandra 才能启用分析模式。这解决了我的问题。
  • 啊,是的 - 我以为你已经在这种模式下启动了它...你有什么版本的 DSE,所以我可以针对它提交错误?
  • DSE 5.1.7 linux 64 位

标签: datastax datastax-enterprise cassandra-3.0 spark-cassandra-connector


【解决方案1】:

我解决了我的问题。这是因为我没有在分析模式下启动 Cassandra,所以如果您遇到此类问题,请确保您已通过 -

以分析模式启动 Cassandra
bin/dse cassandra -k

谢谢,

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2015-03-11
    • 1970-01-01
    • 2016-05-05
    • 1970-01-01
    • 2018-10-30
    • 1970-01-01
    • 2018-12-11
    • 2016-09-13
    相关资源
    最近更新 更多