【问题标题】:Invalid json for Java type io.trino.server.TaskUpdateRequestJava 类型 io.trino.server.TaskUpdateRequest 的 json 无效
【发布时间】:2021-12-13 04:23:26
【问题描述】:

尝试在我的 Trino 集群没有潜在的复杂性。 我尝试重新启动集群,增加集群大小,但这个愚蠢的错误仍然存​​在。有时会发生错误,有时则不会。这对我们的 ETL 工作很不利,我需要弄清楚是什么原因造成的。

我在 EMR 6.4.0 上运行 Trino 359。使用 Glue 的 Hive 目录。 错误信息: 来自http://10.193.20.153:8889/v1/task/20211027_220021_01468_gtbqw.3.2?summarize com.fasterxml.jackson.core.JsonParseException 的意外响应:无法识别的令牌“io”:在 [Source : (byte[])"io.airlift.jaxrs.JsonMapperParsingException: Java 类型 io.trino.server.TaskUpdateRequest 的 json 无效

create table ide.stage_5
    with (format = 'ORC')
    as (
        select distinct i.*
        from ide.stage_4 i
    );

【问题讨论】:

  • 故障排除步骤:尝试“(format = Parquet)”以查看问题是否与写入格式有关。

标签: amazon-emr trino


【解决方案1】:

进一步发现,这是由“distinct”引起的——如果没有distinct运行就会成功。

不成功的源表:此表是 Glue(hive)分区的 ORC 表,具有 SNAPPY 压缩、500 列和 770,087 行。

查询可以在具有较少列的类似表上以“distinct”成功运行:具有 SNAPPY 压缩、133 列和 756,287 行的 Glue(hive)分区 ORC 表。

133 列和 500 列之间的某个地方似乎是一个错误,我已经在这里提交了一个票证:https://github.com/trinodb/trino/issues/9808

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2015-11-16
    • 2019-10-26
    • 2021-08-08
    • 2015-03-19
    • 1970-01-01
    • 2016-03-16
    • 2021-12-26
    相关资源
    最近更新 更多