【问题标题】:cannot feed a table in hive from hbase无法从 hbase 提供 hive 中的表
【发布时间】:2021-02-05 16:28:22
【问题描述】:

在 HDP 3.1.x 上,我使用 STORED BY org.apache.hadoop.hive.hbase.HBaseStorageHandler 选项创建了一个链接到 Hbase 的表。 执行选择时,它工作正常。 当我尝试从中填充表时,它会因错误而崩溃

create table test as select * from hbase_xxx;

INFO  : Completed executing command(queryId=hive_20210205161427_a49ca7bc-0637-4c19-9a62-6657376373a1); Time taken: 74.951 seconds

Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. 
Vertex failed, vertexName=Map 1, vertexId=vertex_1611574680060_3923_1_00, diagnostics=[Vertex vertex_1611574680060_3923_1_00 [Map 1] killed/failed due to:ROOT_INPUT_INIT_FAILURE, Vertex Input: raw_eff_ann_ent initializer failed, vertex=vertex_1611574680060_3923_1_00 [Map 1], 
org.apache.hadoop.hbase.client.RetriesExhaustedException: Can't get the location for replica 0

查看 YARN 日志时,它似乎尝试从带有 localhost:2181 的数据节点连接到 zookeeper ...但失败了

2021-02-05 11:22:41,921 [WARN] [ReadOnlyZKClient-localhost:2181@0x48730f2c] |zookeeper.ReadOnlyZKClient|: 0x48730f2c to localhost:2181 failed for get of /hbase/hbaseid, code = CONNECTIONLOSS, retries = 1

select 上的同一个日志显示 zookeeper_quorum 连接字符串到 zookeeper 并成功

有什么想法吗?

【问题讨论】:

    标签: hive hbase hdp


    【解决方案1】:

    我得到了支持的回报;你必须强制 hbase-site.xml 进入 hive env 的模板 这是解决方案

        Add the below:
    export HIVE_AUX_JARS_PATH=${HIVE_AUX_JARS_PATH}:/etc/hbase/conf/hbase-site.xml 
    to your Advanced hive-env->hive-env template, before this statement export METASTORE_PORT={{hive_metastore_port}}
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多