上传后未找到 Databricks DBFS 文件答案

【问题标题】：Databricks DBFS file not found after upload上传后未找到 Databricks DBFS 文件
【发布时间】：2021-03-03 15:24:09
【问题描述】：

我在 Databricks 中使用以下代码将文件上传到 DBFS。当我执行 dbutils.fs.ls(path) 时，文件会显示出来。但是，当我尝试阅读时，我收到了一个找不到文件的错误（请参阅下文）。另外，文件大小显示为零？

def WriteFileToDbfs(file_path,test_folder_file_path,target_test_file_name):
  df = spark.read.format("delta").load(file_path)
  df2 = df.limit(1000)
  df2.write.mode("overwrite").parquet(test_folder_file_path+target_test_file_name)

这是错误：

AnalysisException: Path does not exist: dbfs:/tmp/qa_test/test-file.parquet;

以下是列出但大小为零的文件：

【问题讨论】：

如果我的回答对您有帮助，您可以接受它作为答案（单击答案旁边的复选标记，将其从灰色切换为已填充。）。这对其他社区成员可能是有益的。谢谢。

标签： databricks azure-databricks

【解决方案1】：

在 Azure Databricks 中，这是预期行为。

对于文件，它显示实际文件大小。
对于目录，它显示 size=0
对于损坏的文件显示 size=0

您可以使用 Azure Databricks CLI 获取更多详细信息：

您可以使用 Databricks Explorer 获取更多详细信息：

DBFS Explorer 是一种将文件上传和下载到 Databricks 文件系统 (DBFS) 的快捷方式。这将适用于 Databricks 的 AWS 和 Azure 实例。您需要在 Web 界面中创建一个不记名令牌才能连接。

【讨论】：