【问题标题】:Hadoop hdfs shell command for inverse pattern search用于反向模式搜索的 Hadoop hdfs shell 命令
【发布时间】:2016-11-01 02:12:35
【问题描述】:

我想知道我们是否可以列出 HDFS 目录中的文件与给定模式不匹配的文件。

例如,假设我有一些名称包含一些日期值的文件 [例如:'file201606250001.csv']。

如果我需要获取不属于日期模式的文件列表,例如“*20160629*”,我可以使用什么命令?

我尝试给出以下命令,但它仍然列出了所有文件(包括与我想排除的模式匹配的文件)。

hdfs dfs -ls /test/* | grep -v '*20160629*'

我尝试了here 给出的解决方案,但它仍然返回所有文件。

【问题讨论】:

  • -ls 的结果传送到grep?
  • @Inian 我尝试了该解决方案,但它不适用于我的情况。它仍然会列出具有要排除的模式的文件。

标签: unix hadoop hdfs


【解决方案1】:

首先列出文件,然后列出grep,而不是您的模式(-v 选项)

hadoop fs -ls /dir/path/to/search |grep -v '20160629'

【讨论】:

  • 那行得通。我在管道之后给出了grep -v '*20160629*' 作为命令。谢谢!
猜你喜欢
  • 2013-08-11
  • 2015-05-17
  • 2014-10-15
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-03-25
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多