PySpark textFile 命令中的正则表达式答案

【问题标题】：Regular expressions in PySpark textFile commandPySpark textFile 命令中的正则表达式
【发布时间】：2015-06-18 15:34:31
【问题描述】：

我试图弄清楚在选择多个感兴趣的文件时我可以推动这个命令多远。例如，我使用以下通配符在多个目录中提取所有感兴趣的文件，但我想使用正则表达式等来限制目录名称的长度。

lines = sc.textFile("/home/spark-1.4.0/A/B_2*/Output/CSV.csv")

但是我可以限制目录名的长度而不是*吗？例如^[0-9]{8}$?或者任何不借助预过滤来构建有效目录列表的方式。

【问题讨论】：

【解决方案1】：

只是为了让事情变得简单，你想要的是一个简单的glob 没有正则表达式。你可以这样做：

glob = "/home/spark-1.4.0/A/B_2{0}/Output/CSV.csv".format("[0-9]" * 8)
lines = sc.textFile(glob)

【讨论】：