检查 blob 存储中是否存在文件夹并添加到列表中

Question

我正在 Databricks 中创建一个函数来检查 Azure Blob 存储中是否存在文件夹：

import java.io.File

def checkFolder(paths: List[String]): Unit = {
  
  for (f <- paths) {
    try
      {   
        var pathCheck = dbutils.fs.ls(f) 
       }
  catch {
    case ex: Exception => {
      println("Folder does not exists: " + f)
      }
    }
  }
}

我想添加列表中存在的文件夹，以便我可以读取这些路径中的数据！我还想添加其他列表中不存在的路径。

我该怎么做？

Answer 1

试试这样的：

val (exist, doesnt) = paths.map {
  f => try {
    dbutils.fs.ls(f)
    (f, true)
  } catch {
    case _: Exception => 
      (f, false)
  }
}.partition(_._2)

这将为您提供两个类型为(String, Boolean) 的序列，用于现有和不存在的文件，然后您可以从中提取文件路径：

exist.map(_._1)
doesnt.map(_._1)