我们如何使用 nifi hive 流处理器将 orcdata 加载到 hive 中

Question

我有 orc 文件及其架构我已经尝试在本地配置单元中加载这个 orc 文件并且它工作正常，现在我将生成多个 orc 文件并且需要使用 nifi put hive 流处理器将这个 orc 文件加载到配置单元表？

Answer 1

PutHiveStreaming 要求传入的流文件为 Avro 格式。如果您使用的是 PutHive3Streaming，您将拥有更大的灵活性，但它不接受 ORC 格式的流文件；相反，这两个处理器都将输入转换为 ORC 并将其写入 Hive 中的托管表中。

如果您的文件已经是 ORC 格式，您可以使用 PutHDFS 将它们直接放入 HDFS。如果您无权直接写入托管表位置，则可以写入临时位置，在其上创建一个外部表，然后使用INSERT INTO myTable FROM SELECT * FROM externalTable 或其他方式从那里加载到托管表中。