【发布时间】：2023-03-25 03:10:02
【问题描述】：
出于某种原因，我想在 Google Cloud Dataproc(1.4.3) Spark 集群上将 Apache Hive 的版本从 2.3.4 升级到 3。如何在升级 Hive 版本的同时保持与 Cloud Dataproc 工具的兼容性？
【问题讨论】：
标签： apache-spark hive google-cloud-dataproc
【发布时间】：2023-03-25 03:10:02
【问题描述】：
不幸的是，没有真正的方法保证与此类自定义的兼容性，并且已知与 currently released spark versions being able to talk to Hive 3.x 不兼容，因此除非您设法交叉编译所有您自己需要的版本。
无论如何，如果您只是想让有限的功能子集正常工作，那么最简单的方法就是将您的自定义 jarfile 转储到：
/usr/lib/hive/lib/
通过初始化操作在所有节点上。在更新 Hive Metastore 和 Hiveserver2 或至少运行后，您可能需要重新启动主节点：
sudo systemctl restart hive-metastore
sudo systemctl restart hive-server2
在您的主节点上。
对于 Spark 问题，您可能还需要自定义构建 Spark 并替换以下 jarfile：
/usr/lib/spark/jars/
【讨论】：