【问题标题】:How to create a custom coder?如何创建自定义编码器?
【发布时间】:2015-01-25 17:37:45
【问题描述】:

我正在尝试创建一个自定义编码器 AvroDeterministicCoder,它基于 AvroCoder,但对于 isDeterministic 返回 true。

在我的example Dataflow 中,我为我的所有 PCollections 注册了这个编码器。但是,当我运行 test 时,它最终会引发异常: the key coder must be deterministic for grouping.

使用我的调试器,我可以看出它使用的是编码器 AvroCoder。

AvroDeterministicCoder 中是否需要添加代码以使AvroDeterministicCoder 反序列化为AvroDeterministicCoder 而不是AvroCoder?

【问题讨论】:

  • 我想我忘了重写 of 方法,所以它返回了一个 AvroCoder。

标签: google-cloud-dataflow


【解决方案1】:

这是我的代码中的一个错误;我需要重写各种 of 方法以返回 AvroDeterministicCoder 类型。

这是工作代码:AvroDeterministicCoder

【讨论】:

    猜你喜欢
    • 2017-01-04
    • 1970-01-01
    • 2013-05-12
    • 1970-01-01
    • 2020-08-14
    • 1970-01-01
    • 1970-01-01
    • 2012-01-31
    • 1970-01-01
    相关资源
    最近更新 更多