在 AWS EMR 中，来自 Jupyter 的 pyspark 启用 hive 的 spark 会话仅显示默认数据库，而不是所有 hive 数据库

Question

已在 AWS EMR 中安装了 jupyter。 以下代码在非 AWS 环境中运行良好，但在 AWS EMR 中，jupyter 仅在 Hive 中显示默认数据库。 从 Hive shell，显示数据库我看到 6 个数据库，但从 jupyter 它只显示默认值。 在非 AWS 集群中显示为 6。

from pyspark.sql import SparkSession
spark = SparkSession \
    .builder \
    .appName("Python Spark SQL Hive integration example") \
    .enableHiveSupport() \
    .getOrCreate()

 display(spark.sql('show databases').show())

---

+----------+ |命名空间| +----------+ |默认| +---------+

无

火花

SparkSession - 蜂巢

SparkContext

火花用户界面

版本 v3.0.1 掌握 当地的 应用名称 Python Spark SQL Hive 集成示例

Answer 1

settings = [
        ("hive.metastore.uris", "thrift://xxxxx")  #from /etc/hive/conf/hive-site.xml
        ] 
spark_conf = SparkConf().setAppName("Python Spark SQL Hive integration example").setAll(settings)
spark = SparkSession.builder. \
    config(conf = spark_conf). \
    enableHiveSupport(). \
    getOrCreate()