Spark 本地模式下的 Delta Lake 1.1.0 位置无法正常工作

Question

我更新了一些 ETL 以激发 3.2.1 和 delta Lake 1.1.0。这样做之后，我的本地测试开始失败。经过一些调试，我发现当我创建一个具有指定位置的空表时，它在元存储中注册了一些前缀。 假设如果尝试在青铜数据库上创建一个表火花仓库/用户作为我指定的位置：

    spark.sql("""CREATE DATABASE IF NOT EXISTS bronze""")
    spark.sql("""CREATE TABLE bronze.users (
    |  name string,
    |  active boolean
    |)
    |USING delta
    |LOCATION 'spark-warehouse/users'""".stripMargin)

我最终得到：spark-warehouse/bronze.db/spark-warehouse/users在 metastore 上注册，但实际文件在 spark-warehouse/users 中！这会使对表的任何查询都失败。

我生成了一个示例存储库：https://github.com/adrianabreu/delta-1.1.0-table-location-error-example/blob/master/src/test/scala/example/HelloSpec.scala

Answer 1

它已在 delta github 主题上得到解决。需要给出仓库的完整路径。详情请查看https://github.com/delta-io/delta/issues/1252。