官网:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_purpose_4

问题描述:

sqoop1.4.6

hadoop2.7.3

hive-2.1.1

本人编写的sqoop脚本如下:

sqoop支持Hcatalog使用hcatalog参数后问题集锦

参数解释:

--hcatalog-database

指定HCatalog表的数据库名称。如果未指定,default则使用默认数据库名称。提供 --hcatalog-database不带选项--hcatalog-table是错误的。这不是必需的选项。

--hcatalog-table

此选项的参数值为HCatalog表名。该--hcatalog-table选项的存在表示导入或导出作业是使用HCatalog表完成的,并且是HCatalog作业的必需选项。

--hcatalog-home

HCatalog安装的主目录。该目录应包含一个lib子目录和一个share/hcatalog带有必需HCatalog库的子目录。如果未指定,hcatalog.home将检查系统属性 ,否则,HCAT_HOME将检查系统环境变量。如果未设置这些设置,则将使用默认值,并且当前默认设置为 /usr/lib/hcatalog。这不是必需的选项。

--create-hcatalog-table

此选项指定在导入数据时是否应自动创建HCatalog表。默认情况下,假定HCatalog表存在。表名将与转换为小写的数据库表名相同。在Automatic Table Creation 下面进一步描述。

--hcatalog-partition-keys 和 --hcatalog-partition-values

这两个选项用于指定多个静态分区键/值对。在以前的版本中,--hive-partition-key和 --hive-partition-value选项用于指定静态分区键/值对,但是只能提供一个级别的静态分区键。选项--hcatalog-partition-keys--hcatalog-partition-values 允许将多个键和值提供为静态分区键。多个选项值之间用(逗号)分隔。

当执行脚本后,直接报org/apache/hive/hcatalog/mapreduce/HCatOutputFormat这个类未找到,首先想到的是jar没有引入hcatalog之类的。

官网给出以下解释:

sqoop支持Hcatalog使用hcatalog参数后问题集锦

就是设置环境变量的方式,,以下是我解决的方式:

sqoop支持Hcatalog使用hcatalog参数后问题集锦

直接将hcat的路径添加到环境变量即可。执行没有问题。

sqoop支持Hcatalog使用hcatalog参数后问题集锦

相关文章:

  • 2022-03-01
  • 2022-12-23
  • 2021-10-06
  • 2021-12-09
  • 2021-11-13
  • 2022-03-04
  • 2021-11-12
  • 2021-07-06
猜你喜欢
  • 2021-08-26
  • 2021-12-10
  • 2022-12-23
  • 2021-12-28
  • 2022-12-23
  • 2021-10-05
相关资源
相似解决方案