无法通过匿名用户错误从 pyspark 连接到 Hive

Question

我已经研究了如何从蜂巢连接火花，但仍然无法弄清楚 -

这是示例代码 -

spark = SparkSession.builder \
  .appName("My Spark Application") \
  .config("spark.hadoop.hive.server2.jdbc.url", "jdbc:hive2://localhost:10000/default?**user=hive**") \
  .enableHiveSupport() \
  .getOrCreate()

from pyspark_llap.sql.session import HiveWarehouseSession
hive = HiveWarehouseSession.session(spark).build()  

hive.execute("show tables")

错误是 -

Caused by: org.apache.hadoop.hive.ql.security.authorization.plugin.HiveAccessControlException: Permission denied: user [anonymous] does not have [USE] privile
ge on [default]

不管我尝试什么，我都无法摆脱匿名用户。从文档中建议按照我在上面的代码中传递的方式在配置单元 URL 中传递用户名，但仍然显示用户匿名

Answer 1

来自一些Cloudera docs：

Hive 连接字符串必须包含用户名和密码；否则，Spark 和 Hive 无法连接。例如：

jdbc:hive2://<host>:2181;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2-interactive;user=<user name>;password=<password>

似乎您可能没有在连接字符串中使用正确的定界符。尝试使用 ; 而不是 ?。所以在你的情况下，它将是："jdbc:hive2://localhost:10000/default;user=hive"