【问题标题】:Mounting S3 to DBFS(azure databricks), integer is adding with mount path将 S3 挂载到 DBFS(天蓝色数据块),整数与挂载路径相加
【发布时间】:2020-02-12 07:50:56
【问题描述】:

我已将 s3 存储桶挂载到 DBFS。卸载后我尝试列出目录中的文件

例如:%fs ls /mnt/TmpS3SampleDB/

输出:java.io.FileNotFoundException: File/743456612344/mnt/TmpS3SampleDB/ 不存在。

在上面的输出中,我不明白 interger-743456612344 是从哪里来的。

谁能解释一下。我正在使用天蓝色数据块。

【问题讨论】:

    标签: amazon-s3 pyspark databricks azure-databricks


    【解决方案1】:

    注意:Azure Databricks 使用目录和文件语义而不是存储 URL 与对象存储进行交互。

    “743456612344”这是与 Databricks 关联的目录 ID。

    当您尝试使用 dbutils.fs.ls 或 Hadoop API 在 WASB 中列出文件时,您会收到以下异常:

    java.io.FileNotFoundException: File/ 不存在。

    更多详情请参考“Databricks File System”。

    希望这会有所帮助。如果您有任何进一步的疑问,请告诉我们。

    【讨论】:

      【解决方案2】:

      很可能是由 Local API 生成的。

      你应该输入

      %fs ls /dbfs/mnt/TmpS3SampleDB/
      

      相反。

      【讨论】:

      • %fs ls /dbfs/mnt/TmpS3SampleDB/ - 它刚刚返回好吗?
      • 这意味着文件夹是空的,这是有道理的,因为你卸载了它,对吧?
      猜你喜欢
      • 2011-06-14
      • 1970-01-01
      • 1970-01-01
      • 2017-07-21
      • 1970-01-01
      • 2019-08-24
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多