【发布时间】:2015-09-16 09:04:30
【问题描述】:
我正在使用带有 Ambari 2.1.0 和 Hue 3.8.1、Ubuntu 12.04 的 Hadoop 2.2.6 迷你集群(1 个主集群和 3 个从属集群)。 Spark 1.2.1(使用 Scala 2.10.3)作为 Ambari 设置的一部分安装。我已经安装了 Livy-Server 以便能够在 Hue 中使用 Spark Notebook。 hue.ini 文件中的配置如下:
[spark]
# Host address of the Livy Server.
livy_server_host=host1.com
# Port of the Livy Server.
livy_server_port=8998
# Configure livy to start with 'process', 'thread', or 'yarn' workers.
livy_server_session_kind=process
# List of available types of snippets
languages='[{"name": "Scala Shell", "type": "spark"},{"name": "PySpark Shell", "type": "pyspark"},{"name": "R Shell", "type": "r"},{"name": "Jar", "type": "Jar"},{"name": "Python", "type": "py"},{"name": "Impala SQL", "type": "impala"},{"name": "Hive SQL", "type": "hive"},{"name": "Text", "type": "text"}]'
但是当我尝试在笔记本中输入简单的命令时,每次我都会遇到同样的错误:Gateway timeout Error 504。当我使用以下命令从 shell 手动启动 Livy-Server 时:
./build/env/bin/hue livy_server
我有其他文章中要求的结果,但没有解决方案: http://gethue.com/new-notebook-application-for-spark-sql/#comment-56901 任何想法如何解决这个问题,甚至在哪里看?!除了 Spark Notebook 之外,其他应用程序都可以正常工作。我是大数据和 hadoop 的新手,正在阅读论坛寻找可能的解决方案,但没有找到与此问题相关的任何内容,是配置错误还是我在安装过程中遗漏了什么?任何帮助高度赞赏。谢谢
【问题讨论】:
-
更正 2:我可以毫无问题地从 shell 运行 Spark,看起来只有 Livy Server 和 Hue 无法相互通信...... Ambari 服务检查显示所有服务正常运行,没有警告。与 Hue 主页相同,没有错误或警告...
标签: apache-spark hue spark-notebook