如何通过 EMR 中的 spark 让 Jupyterhub 访问配置单元表

【问题标题】：How to give Jupyterhub access to hive tables through spark in EMR如何通过 EMR 中的 spark 让 Jupyterhub 访问配置单元表
【发布时间】：2019-01-14 11:55:31
【问题描述】：

在 EMR 中默认安装的 JupytherHub 无法访问 Spark 中的 Hive 上下文。我该如何解决这个问题？

【问题讨论】：

标签： apache-spark hive jupyter amazon-emr jupyterhub

【解决方案1】：

要授予 spark 对 Hive 上下文的访问权限，您需要像这样编辑 livy.conf 文件 (/etc/livy/conf.dist/livy.conf)

livy.repl.enableHiveContext = true

然后按照here 的说明重新启动您的笔记本和 livy 服务，基本上：

sudo stop livy-server
sudo start livy-server

检查它是否正常工作的一种简单方法是检查 Spark 笔记本上的数据库：

spark.sql("show databases").show

您可能希望通过使用 EMR 的标准配置功能https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html在 EMR 启动时配置它

【讨论】：