pyspark：read.parquet 同时跳过丢失的文件

Question

我认为这个问题与Spark : Read file only if the path exists 有关，但另一个是针对 Scala 的。

我正在读取来自hdfs的文件：

df_list = sqlContext.read.option('basePath','/data/').parquet(*search_path)

问题是如果缺少文件，read 命令会抛出异常并停止。

有没有办法让read.parquet跳过search_path列表中丢失的文件？

非常感谢

Answer 1

你可以使用同样的方法：使用python hdfs客户端测试目录是否为空。

更多用法请参考this link。