使用 json serde 在 hive 中加载 json 文件答案

【问题标题】：Load json file in hive using json serde使用 json serde 在 hive 中加载 json 文件
【发布时间】：2019-09-01 05:05:11
【问题描述】：

我正在尝试使用 json serde 在 hadoop 上上传 json 文件。我已将 jar lib 上传到 hadoop，但运行 hive 命令时出错

我已将 json serde jar 文件上传到 /apps/hive/warehouse/lib 路径。现在，当我尝试运行此命令时

ADD JAR /apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar;

我收到了这个错误

H110 无法提交声明。处理语句时出错： /apps/hive/warehouse/lib/json-serde-1.3.7-SNAPSHOT-jar-with-dependencies.jar 不存在 [ERROR_STATUS]

【问题讨论】：

【解决方案1】：

尝试在文件名前使用 URL（添加file//）：

ADD JAR file///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar;

如果您的 Hive 为 1.2.0 及以上，您应该能够从 repository 添加 jar。

【讨论】：

如何从存储库添加 jar？并在这行代码中添加 JAR 文件///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar；写什么而不是文件？哪个文件名？
使用http://www.congiu.net/hive-json-serde/1.3.7/cdh5/json-serde-1.3.7-jar-with-dependencies.jar

【解决方案2】：

看起来您的 jar 位于 HDFS 位置。使用：

add jar hdfs:///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar;

【讨论】：

运行这个命令 add jar hdfs:///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar;得到相同的错误 H110 无法提交语句。处理语句时出错：/apps/hive/warehouse/lib/json-serde-1.3.7-SNAPSHOT-jar-with-dependencies.jar 不存在 [ERROR_STATUS]
试试 hadoop fs -ls /apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar 并确认文件是否存在
运行此命令后，我在内核 -rw-r--r-- 3 admin hdfs 75134 2019-04-10 09:12 /apps/hive/warehouse/lib/json-serde 上得到了这个-1.3-jar-with-dependencies.jar
你是如何连接到 hive 的？ hive 是否在执行 hadoop fs -ls 的同一台机器上运行？
添加jar hdfs:///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar;转换为本地 hdfs:///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar 添加 [/tmp/6f1a54b9-65c4-4e32-8e87-25d60ef775c6_resources/json-serde-1.3- jar-with-dependencies.jar] 到类路径添加资源：[hdfs:///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar] 成功添加thankyou