删除 hive 外部表中的行

Question

我将文本文件加载到 hive 外部表中。该文本文件有一个分隔符/ 来区分列。另外，某些列在一列中有换行符。因此，存储在外部表中的数据不匹配。在我的情况下，唯一键是 row_id ，其中包含 1_234 之类的值。 rowid 是数字。但是由于文本文件中的换行符，某些行在row_id 中有文本。

有什么方法可以删除 hive 中的这些行，或者如何删除 hdfs 文本文件中的换行符？

Answer 1

在加载到 Hive 之前，您必须编写一个 hadoop（流是一种选择）作业来清理您的数据。