三角洲湖上的蜂巢桌答案

【问题标题】：Hive table on delta lake三角洲湖上的蜂巢桌
【发布时间】：2020-06-18 14:29:59
【问题描述】：

我是火花和三角洲湖的新手。我正在增量表之上创建配置单元表。我有必要的罐子 delta-core-shaded-assembly_2.11-0.1.0.jar, hive-delta_2.11-0.1.0.jar;在 hive 类路径中。设置以下属性。

SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;

但是在创建表时

CREATE EXTERNAL TABLE hive_table(col1 INT, col2 STRING) STORED BY 'io.delta.hive.DeltaStorageHandler' LOCATION '/path/to/my/delta/table'

得到以下异常：

FAILED：执行错误，返回代码 1 从 org.apache.hadoop.hive.ql.exec.DDLTask。 org.apache.spark.network.util.JavaUtils.byteStringAs(Ljava/lang/String;Lorg/apache/spark/network/util/ByteUnit;)J

两个表匹配的架构。堆栈详细信息：火花：2.4.4 蜂巢：1.2.1

非常感谢任何帮助。提前致谢。

【问题讨论】：

标签： apache-spark hive delta-lake

【解决方案1】：

带有 delta Lake 的 Hive 仅支持 spark 3.0 和 delta 版本 0.7.0。

<dependency>
  <groupId>io.delta</groupId>
  <artifactId>delta-core_2.12</artifactId>
  <version>0.7.0</version>
</dependency>

【讨论】：