无法使用 DataBricks 熔断器安装路径从 DBFS 访问文件答案

【问题标题】：Unable to access file from DBFS using DataBricks fuse mount path无法使用 DataBricks 熔断器安装路径从 DBFS 访问文件
【发布时间】：2021-08-30 12:35:34
【问题描述】：

我在数据块中有文件，如下所示

我正在尝试从数据砖笔记本中像这样访问它们

但我遇到了错误，即使尝试使用 pandas 也会出错

我不明白我哪里出错了。尽管dbutils.fs.head('/FileStore/tables/flights_small.csv') 给了我正确的结果。

【问题讨论】：

标签： databricks databricks-community-edition

【解决方案1】：

您正在使用 DataBricks 社区版，因为quirk with DBR >= 7.0，您无法从路径中读取。

我通常只有一个类似下面新命令的命令来解决这个问题，并以编程方式将 te 文件带到可访问的临时文件夹：

%fs cp /FileStore/tables/flights_small.csv file:/tmp/flights_small.csv

然后简单地读入：

pd.read_csv('file:/tmp/flights_small.csv')

考虑到 Community Edition 中的此类怪癖（集群启动时间长），我通常会选择 Google Colab 以在浏览器笔记本中进行业余工作。

您也可以在 Google Colab 上运行 pyspark，只需

!pip install pyspark

from pyspark.sql import SparkSession
spark = SparkSession.builder\
        .master("local")\
        .appName("Colab")\
        .config('spark.ui.port', '4050')\
        .getOrCreate()

【讨论】：

哦，我明白了，其实，我正在用 spark 探索远大的期望，不想安装 spark 集群。我想澄清一下，dbfs: 和 file: 有什么区别？
stackoverflow.com/questions/63667523/… 是一个很好的答案。来源：谷歌dbfs vs file databricks