如何获取 hdfs 文件夹中的子文件夹列表？答案

【问题标题】：How to get list of subfolders in a hdfs folder?如何获取 hdfs 文件夹中的子文件夹列表？
【发布时间】：2018-09-19 07:38:55
【问题描述】：

假设我的镶木地板按如下方式存储：

hdfs://root/folder1/pqt1.pqt
hdfs://root/folder2/pqt2.pqt
hdfs://root/folder3/pqt3.pqt
hdfs://root/folder4/part1/pqt4part1.pqt
hdfs://root/folder4/part2/pqt4part1.pqt
...

如何使用sparklyr 列出 R 中“hdfs://root”中的子文件夹？所需的输出将是（没有递归）：

hdfs://root/folder1/
hdfs://root/folder2/
hdfs://root/folder3/
hdfs://root/folder4/
...

递归：

hdfs://root/folder1/
hdfs://root/folder2/
hdfs://root/folder3/
hdfs://root/folder4/
hdfs://root/folder4/part1/
hdfs://root/folder4/part2/
...

【问题讨论】：

标签： r apache-spark sparklyr

【解决方案1】：

base R 可能就够了

list.dirs(path = "hdfs://root", full.names = TRUE, recursive = TRUE)

【讨论】：

对不起，我应该提到我正在连接到远程 Spark 集群。这还能用吗？
@Alex 只有一种方法可以找出答案 ;-)