【问题标题】:Data Bricks Community Edition Cannot Read Uploaded Table (Was Working Before)Databricks 社区版无法读取上传的表(之前工作)
【发布时间】:2021-02-22 05:53:59
【问题描述】:

所以当我今天在 DataBricks 社区版上尝试一些想法时,我突然发现 python pandas 无法再读取现有的上传表。这些目录以前可以工作,但我以前上传的表都无法再读取,全部返回“File ... Not Exist”。有人知道我们能做什么吗?

使用的命令:

import pandas as pd
df = pd.read_csv('/dbfs/FileStore/tables/iris.csv')

文件肯定存在,这也会影响我之前上传的所有其他文件。

任何建议将不胜感激

【问题讨论】:

标签: python pandas databricks databricks-community-edition


【解决方案1】:

您是如何加载 csv 的?来自blob?如果来自 blob,您可能尚未安装。

您可以尝试阅读为火花吗?如果无法读取,则文件已损坏。如果可以,请尝试申请sdf.to.pandas()

sdf = spark.read.csv('/FileStore/tables/iris.csv', header="true", inferSchema="true")

【讨论】:

  • 它是社区版,有限制。查看我链接的答案...
  • 嗨,感谢您的解决方案,因此它适用于 spark。我正在使用 DBR 7.6,所以我需要找到一种方法来处理这个问题。
  • 还有一个问题,如何挂载“/FileStore/”以便像以前一样访问它?谢谢
  • 试试这个文档,如果您遇到问题,请告诉我们docs.databricks.com/data/data-sources/azure/…
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-03-27
  • 2022-01-20
  • 2019-12-03
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多