【问题标题】:ORC files with Hive: java.io.IOException: Two readers带有 Hive 的 ORC 文件:java.io.IOException:两个阅读器
【发布时间】:2021-08-04 12:57:18
【问题描述】:

我有一个 ACID 配置单元表,其中包含 ORC 格式的文件。尝试压缩时,出现以下错误:Task: ... exited : java.io.IOException: Two readers for ... 完整错误如下:

2019-06-03 07:01:05,357 ERROR [IPC Server handler 2 on 41085] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1558939181485_29861_m_000001_0 - exited : java.io.IOException: Two readers for {originalWriteId: 143, bucket: 536870912(1.0.0), row: 3386, currentWriteId 210}: new [key={originalWriteId: 143, bucket: 536870912(1.0.0), row: 3386, currentWriteId 210}, nextRecord={2, 143, 536870912, 3386, 210, null}, reader=Hive ORC Reader(hdfs://HdfsNameService/tbl/delete_delta_0000209_0000214/bucket_00001, 9223372036854775807)], old [key={originalWriteId: 143, bucket: 536870912(1.0.0), row: 3386, currentWriteId 210}, nextRecord={2, 143, 536870912, 3386, 210, null}, reader=Hive ORC Reader(hdfs://HdfsNameService/tbl/delete_delta_0000209_0000214/bucket_00000, 9223372036854775807)]
    at org.apache.hadoop.hive.ql.io.orc.OrcRawRecordMerger.ensurePutReader(OrcRawRecordMerger.java:1171)
    at org.apache.hadoop.hive.ql.io.orc.OrcRawRecordMerger.<init>(OrcRawRecordMerger.java:1126)
    at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.getRawReader(OrcInputFormat.java:2402)
    at org.apache.hadoop.hive.ql.txn.compactor.CompactorMR$CompactorMap.map(CompactorMR.java:964)
    at org.apache.hadoop.hive.ql.txn.compactor.CompactorMR$CompactorMap.map(CompactorMR.java:941)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:174)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

这个表是由merge'ing avro 文件创建和更新到一个orc 表中的,因此有一堆增量,包括delete_delta 和delta。

我还有很多其他这样的表,没有这个问题。该表没有什么特别之处,实际上非常小(

CREATE TABLE `contact_group`(
  `id` bigint,
  `license_name` string,
  `campaign_id` bigint,
  `name` string,
  `is_system` boolean,
  `is_test` boolean,
  `is_active` boolean,
  `remarks` string,
  `updated_on_utc` timestamp,
  `created_on_utc` timestamp,
  `deleted_on_utc` timestamp,
  `sys_schema_version` int,
  `sys_server_ipv4` bigint,
  `sys_server_name` string,
  `load_ts` timestamp)
ROW FORMAT SERDE
  'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
LOCATION
  'hdfs://HdfsNameService/dwh/vault/contact_group'
TBLPROPERTIES (
  'bucketing_version'='2',
  'last_modified_by'='hive',
  'last_modified_time'='1553512639',
  'transactional'='true',
  'transactional_properties'='default',
  'transient_lastDdlTime'='1559522011')

这种情况每隔几个月就会发生一次。由于其他一切(选择、合并)都有效,解决方法通常是创建第二个表 (create table t as select * from contact_group) 并切换表,但我想找到真正的根本原因。

我发现的关于我的错误的唯一参考是在code 本身,这对我没有多大帮助。

这是在 hdp3.1 上,带有 Hive 3。

【问题讨论】:

  • 你还有这样的问题吗?我也遇到了这个问题。能否分享一下合并操作的 DDL 和复制步骤?
  • @user7644509 不幸的是,我离开了这份工作和这个问题。据我所知,还没有修复。

标签: hive orc hdp


【解决方案1】:

就我而言,我无法使用@ShuBham ShaRma 建议的解决方案解决问题。 查看@cang_yun 的发现后,我尝试删除其中一个存储桶文件(bucket_00001),并能够再次在该表上运行选择语句。我不确定这是不是正确的方法,但它在我的情况下有效。

【讨论】:

  • 嗨。欢迎来到 SO。答案详细而清晰,但它可能是对答案的回复。
  • 谢谢@jacobkim,我明白了。不幸的是,我需要 50 声望才能对其他人的答案添加评论,所以我必须自己添加答案。
  • 我是用户,希望下次看到您对 SO 的更好回答 :)
【解决方案2】:

我也遇到过这个问题。通过orc-tools我扫描了delete_delta下的所有文件,可以发现这些文件中的所有行都是相同的(例如bucket_00000有7行,同样的7行在另一个文件bucket_00001中。)。所以迭代下一个bucket文件时key(originalTransacion-bucket-rowId-currentWriteId)将相同。

另一个解决方法是将表创建为桶,也许可以避免这个问题。

【讨论】:

  • 有趣,很好的发现,谢谢。我的表已经被分桶了,因为它是一个事务表。所以现在我想知道为什么要写那些重复的行,但这是朝着正确方向迈出的一步。
  • @Guillaume 如果桌子已经倒塌,你是如何解决这个问题的。
  • @manish 不幸的是,我离开了这份工作和这个问题。据我所知,还没有修复。
  • @Guillaume 谢谢。为了让我知道。祝你好运。
【解决方案3】:

在我的情况下,它是由用户错误引起的。它是由两个表引用同一个 hdfs 目录引起的。创建表时,我创建了位置名称,不小心将同一个目录复制到另一个表中。

我的程序随后对两个事务表执行了更改,导致无法解析的增量文件。

【讨论】:

    【解决方案4】:

    以下是我们一位用户观察到的问题的摘要:

    表在从磁盘获取任务操作期间失败,它被 delete_delta 文件中的重复键标识符损坏 (https://issues.apache.org/jira/browse/HIVE-22318),通过设置 set hive.fetch 有一个临时解决方法来读取表.task.conversion=none 但这无助于压缩或任何获取任务操作的成功。

    创建表备份的步骤:

    • 与直线连接并在会话中运行以下属性:

      set hive.fetch.task.conversion=none ;

    • 现在您将能够对提到的表运行 select 语句。

    • 运行以下语句为表创建备份

      create table &lt;backup_tbl_name&gt; as select * from &lt;problem_tbl&gt; ;

    • 准备好备份后,从会话中注销并检查 备份表而不设置任何属性,(检查计数和表 从数据质量的角度来看一致性)

      select * from &lt;backup_tbl_name&gt; ;

    从备份表创建原始副本:

    • 现在您可以删除问题表并替换为备份表

      drop table &lt;problem_tbl&gt; ;

      alter table &lt;backup_tbl_name&gt; rename to &lt;original_tbl_name&gt; ;

    注意:为避免以后出现此问题,请在 DDL 中创建带有分桶列的表

    【讨论】:

    • 是否有任何特定的参数可以用来选择分桶列。
    • 我的桌子正面临这个问题。我之前尝试过这些步骤,但 CTAS 语句失败,两个文件的错误相同。我正在尝试运行主要压缩,但这也失败了。
    猜你喜欢
    • 1970-01-01
    • 2017-08-25
    • 1970-01-01
    • 2018-04-10
    • 1970-01-01
    • 2018-01-31
    • 2018-06-10
    • 1970-01-01
    • 2018-12-11
    相关资源
    最近更新 更多