【发布时间】：2018-11-05 11:34:10
【问题描述】：
我有一种情况，需要使用 sqoop 将数据从 postgres 迁移到 hdfs，将该文件复制到 s3 并创建 Hive 外部表。 问题是在 postgres 的几个字段中，我在数据中有换行符。我该如何处理以迁移到 HDFS？我知道它可以在 Hive 中完成，但需要如何在 HDFS 中完成。
寻求帮助....
【问题讨论】：
标签： sqoop
【发布时间】：2018-11-05 11:34:10
【问题描述】：
sqoop 可以通过选择 ORC 或 avro 文件生成而不是文本来处理带有换行符的文本字段。
顺便说一句，如果你想桥接 postgres 和 hdfs 以从 postgres 导入/导出数据，我建议你看看 apache spark，特别是支持文本字段中的换行符的 spark-postgres 库。
【讨论】：