获取增量表的 Databricks 删除架构错误

Question

我有一个需要新列/更改数据类型的增量表架构（通常我在非增量表上执行此操作，并且工作正常） 我已经删除了现有的 delta 表并尝试删除架构并收到“v1 会话目录”错误。 我目前正在使用 SQL、10.4 LTS 集群、spark3.2.1、scala 2.12（我无法更改这些计算），驱动程序和工作人员是标准 E_v4

我已经做过的，照常工作

如果存在 dbname.tablename，则删除表；

我接下来想做的事情：

如果存在 dbname.tablename，则删除模式；

我得到的错误是：

SQL 语句中的错误：AnalysisException：v1 会话目录不支持嵌套数据库：dbname.tablename

当我尝试在同一位置重新创建架构时，出现错误：

AnalysisException：指定的架构与 dbfs:locationOfMy/table 的现有架构不匹配 ... 差异 - 指定的模式具有附加字段 newColNameIAdded、anotherNewColIAdded - myOldCol 的指定类型与现有架构不同... 如果您的意图是保留现有架构，则可以省略 来自 create table 命令的模式。否则请确保 架构匹配。

如何使用新定义进行架构删除并在相同位置和相同名称中重新注册它？

Answer 1

一个月后回答，因为我没有得到回复并找到了正确的解决方案；

增量文件留下了无法使用 drop 命令更新的分区和日志。我必须根据我的位置手动删除日志。