【问题标题】:Where is flowers parquet dataset in DatabricksDatabricks 中的花拼花数据集在哪里
【发布时间】:2021-03-22 07:58:44
【问题描述】:

我正在写这个笔记本。 https://databricks.com/notebooks/simple-aws/petastorm-spark-converter-pytorch.html

我尝试运行第一行

df = spark.read.parquet("/databricks-datasets/flowers/parquet") \
  .select(col("content"), col("label_index")) \
  .limit(1000)

但是我得到了这个错误


 Path does not exist: dbfs:/databricks-datasets/flowers/parquet;

我想知道在哪里可以找到数据块上花卉数据集的镶木地板版本。仅供参考,我正在开发社区版。

【问题讨论】:

    标签: apache-spark databricks parquet databricks-community-edition


    【解决方案1】:

    这个数据集被转换成Delta格式,所以现在的路径是/databricks-datasets/flowers/delta,而不是/databricks-datasets/flowers/parquet,需要用对应的代码读取:

    df = spark.read.format('delta').load('/databricks-datasets/flowers/delta')
    

    附:您可以随时使用%fs ls path 命令查看给定路径下的文件

    附言如果可能的话,我会要求修复那个笔记本

    【讨论】:

      猜你喜欢
      • 2017-12-30
      • 1970-01-01
      • 2018-06-19
      • 1970-01-01
      • 1970-01-01
      • 2016-03-18
      • 2018-08-25
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多