如何在 HDP 2.6.5 中使用 Hive 仓库连接器

Question

我需要从启用了 ACID 的 spark 中读取 hive 表。

Spark by native 不支持读取启用 ACID 的 ORC 文件，唯一的选择是使用 spark jdbc。

我们也可以使用 hive 仓库连接器来读取文件，谁能解释一下使用 hive 仓库连接器读取文件的步骤。

HWC 是否仅适用于 HDP 3 版本。请告知。

Spark 版本：2.3.0

HDP -2.6.5

Answer 1

Spark 可以读取 ORC 文件，请在此处查看文档：https://spark.apache.org/docs/2.3.0/sql-programming-guide.html#orc-files

以下是读取 orc 文件的代码示例：

spark.read.format("orc").load("example.orc")

HWC 是为 HDP 3 版本制作的，因为 Hive 和 Spark 目录在 HDP 3 中不再兼容（Hive 在版本 3 中，Spark 在版本 2 中）。

在此处查看相关文档：https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.5/integrating-hive/content/hive_hivewarehouseconnector_for_handling_apache_spark_data.html