【问题标题】:Hive new line character issue when creating table over text file format通过文本文件格式创建表格时出现 Hive 换行符问题
【发布时间】:2017-05-30 02:39:32
【问题描述】:

我在 hdfs 位置有文本文件,我想在上面创建配置单元表。该文件在行尾 (EOL) 之间包含换行符。但是,当我创建由 \n 分隔的配置单元表时,出现在 EOL 之间的换行符被视为新行,并且生成的配置单元表包含的行数超过了所需的行数。我如何告诉 hive 忽略 EOL 之前出现的换行符。 注意:在我的情况下,我无法编辑 hdfs 文件。

【问题讨论】:

  • EOL 是什么意思?什么字符在您的文本文件中用作“行尾”字符?
  • 你必须写一个 Job 来转义中间的 '\n' 字符,然后把这个文件放在 HDFS 并创建表等等......,你没有办法告诉 Hive这样做。

标签: hadoop hive hdfs newline


【解决方案1】:

你的文件“\r\n”中有windows回车

在这种情况下,使用表 LINES TERMINATED BY '\r\n'

【讨论】:

  • No windows 回车不存在。实际上,该 hdfs 文件是作为 sqoop 结果生成的。
  • 你能附上样品吗
猜你喜欢
  • 2017-09-24
  • 1970-01-01
  • 2010-09-28
  • 2021-09-11
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多