如何在 DataBricks 中并行读取文件？

Question

谁能告诉我如何并行读取文件？我正在尝试这样的事情：

def processFile(path):
  df = spark.read.json(path)
  return df.count()

paths = ["...", "..."]

distPaths = sc.parallelize(paths)
counts = distPaths.map(processFile).collect()
print(counts)

它失败并出现以下错误：

PicklingError：无法序列化对象：异常：您似乎正试图从广播变量、操作或转换中引用 SparkContext。 SparkContext 只能在驱动程序上使用，不能在它在工作人员上运行的代码中使用。有关详细信息，请参阅 SPARK-5063。

还有其他方法可以优化吗？

Answer 1

在您的特定情况下，您可以将整个 paths 数组传递给 DataFrameReader：

df = spark.read.json(paths)

...Spark 将并行读取其文件元素。