【发布时间】：2018-02-04 23:58:46
【问题描述】：
我正在使用 NIFI jsontoavro->avrotoorc->puthdfs。但面临以下问题。
1) 单个 ORC 文件正在保存在 HDFS 上。我没有使用任何压缩。 2）当我尝试访问这些文件时，它们会出现缓冲内存等错误。
提前感谢您的帮助。
【问题讨论】：
-
我在附加文件时遇到了这个问题。为单个记录创建 ORC 工作正常。
标签： json etl apache-nifi orc
【发布时间】：2018-02-04 23:58:46
【问题描述】：
您应该在 ConvertAvroToORC 之前将许多 Avro 记录合并在一起。
您可以在 ConvertAvroToORC 之前使用 MergeContent 并将模式设置为 Avro。
您也可以使用 MergeContent 将 JSON 合并在一起，然后将合并的 JSON 发送到 ConvertJsonToAvro。
使用 PutHDFS 附加到已经在 HDFS 中的 ORC 文件将不起作用。 HDFS 处理器对数据格式一无所知，只是将额外的原始字节写入文件，很可能会创建无效的 ORC 文件。
【讨论】：
-
是的，Bryan 这正是问题所在。