如何在 Cloudera Quickstart 下在 Hue 中设置 Spark Notebook？答案

【问题标题】：How to setup Spark Notebook in Hue under Cloudera Quickstart?如何在 Cloudera Quickstart 下在 Hue 中设置 Spark Notebook？
【发布时间】：2016-09-08 19:56:27
【问题描述】：

我最近尝试在 Hue UI 中设置 Spark Notebook。我在 VirtualBox 中运行 Cloudera CDH 5.8。 Spark notebook 在 Livy Server 上工作，我安装了 livy 服务器。我还从 Hue.ini 文件的黑名单中删除了 spark。但是，我仍然没有在 Hue UI 中获得 Spark Notebook。

更新：现在我可以访问笔记本了。但是，我无法将 Spark 作业提交到集群。我尝试了几个脚本，只有 Impala、Hive 脚本有效，但 R、Pyspark 或 Scala 脚本不起作用。我收到以下错误。

有人可以帮我解决问题吗？如果需要，我可以提供更多信息。

谢谢。

.....感谢 Romainr，我本可以在 Hue 中运行 Spark Notebook。现在我面临一些问题，将作业提交到在同一本地主机上的 Cloudera 管理器中运行的 Apache spark。以下屏幕截图中显示了错误。任何帮助都感激不尽。谢谢。

Error: Spark session could not be created in cluster: timeout

"Session '-1' not found." (error 404)

【问题讨论】：

blogs.msdn.microsoft.com/pliu/2016/06/18/… ?
您好 Romain，非常感谢您关注那篇文章，我可以在 Hue 中设置 Notebook。但是我无法向 Spark 提交作业。我收到了您可以在我的原始帖子中看到的错误，我现在已经更新了。你能帮忙找出问题背后的问题吗？谢谢。
嗨阿米特，你解决了吗？我有时也会收到“找不到会话”错误。
嗨，Cos，我发布了答案。
你解决了吗？

标签： apache-spark pyspark cloudera-cdh hue

【解决方案1】：

如果您从 Hue 运行 pySpark notebook，它会显示超时，因为它无法访问资源。事实上，如果您尝试从命令行界面运行命令 pyspark 或 scala，您会看到一些错误。

当您从 Hue Notebook 收到超时错误时，请查看日志，您会发现权限被拒绝的问题。因此，为了提供访问权限，请执行以下操作：（在 Linux shell 上运行）

$ sudo -u hdfs hadoop fs -chmod 777 /user/spark
$ sudo -u spark hadoop fs -chmod 777 /user/spark/applicationHistory

在此之后，如果您尝试在 CDH 中重新启动 hue 和 spark 服务并从 hue 创建 pyspark 或 scala notebook，它应该会立即运行。如果您仍然遇到错误，请告诉我。

【讨论】：

我的 hdfs 上不存在 /user/spark/applicationHistory 吗？