在 linux 中使用 hadoop fsck 命令时我们可以跳过文件检查吗？答案

【问题标题】：Can we skip a file check while using hadoop fsck command in linux?在 linux 中使用 hadoop fsck 命令时我们可以跳过文件检查吗？
【发布时间】：2018-07-30 18:08:18
【问题描述】：

我想使用 hadoop fsck 命令跳过对指定路径的文件检查。我们能做到吗？我正在使用以下命令：

hadoop fsck > /output.txt

我也检查了 hdfs 指南，但没有什么可以从上述命令中排除路径。

请帮忙。

【问题讨论】：

标签： unix hadoop hdfs

【解决方案1】：

从 Hadoop2.9.0 开始，无法在 hadoop fsck 命令中指定排除路径。

但是您可以使用 WebHDFS REST API 来获取与 fsck 相同的文件系统健康信息。使用此 API，我们可以使用 LISTSTATUS api 获取目录中所有文件的信息，或者使用 GETFILESTATUS api 获取单个文件的信息。

对于目录：

curl -i  "http://<HOST>:<PORT>/webhdfs/v1/<DIRECTORY_PATH>?op=LISTSTATUS"

对于文件：

curl -i  "http://<HOST>:<PORT>/webhdfs/v1/<FILE_PATH>?op=GETFILESTATUS"

这些将返回带有 FileStatuses JSON 对象的响应。

请在下面找到从 NN 为目录返回的示例响应：

curl -i "http://<NN_HOST>:<HTTP_PORT>/webhdfs/v1/<DIRECTORY_PATH>?op=LISTSTATUS"
HTTP/1.1 200 OK
Cache-Control: no-cache
Content-Type: application/json
Transfer-Encoding: chunked
Server: Jetty(6.1.26.hwx)

{"FileStatuses":{"FileStatus":[
{"accessTime":1489059994224,"blockSize":134217728,"childrenNum":0,"fileId":209158298,"group":"hdfs","length":0,"modificationTime":1489059994227,"owner":"XXX","pathSuffix":"_SUCCESS","permission":"644","replication":3,"storagePolicy":0,"type":"FILE"},
{"accessTime":1489059969939,"blockSize":134217728,"childrenNum":0,"fileId":209158053,"group":"hdfs","length":0,"modificationTime":1489059986846,"owner":"XXX","pathSuffix":"part-m-00000","permission":"644","replication":3,"storagePolicy":0,"type":"FILE"},
{"accessTime":1489059982614,"blockSize":134217728,"childrenNum":0,"fileId":209158225,"group":"hdfs","length":0,"modificationTime":1489059993497,"owner":"XXX","pathSuffix":"part-m-00001","permission":"644","replication":3,"storagePolicy":0,"type":"FILE"},
{"accessTime":1489059977524,"blockSize":134217728,"childrenNum":0,"fileId":209158188,"group":"hdfs","length":0,"modificationTime":1489059983034,"owner":"XXX","pathSuffix":"part-m-00002","permission":"644","replication":3,"storagePolicy":0,"type":"FILE"}]}}

【讨论】：