【发布时间】:2019-11-19 12:13:05
【问题描述】:
Delta Lake 使用什么机制来确保用户对 DeltaTable 的操作发起的事务的原子性、一致性、隔离性和持久性?
【问题讨论】:
标签: databricks acid delta-lake
Delta Lake 使用什么机制来确保用户对 DeltaTable 的操作发起的事务的原子性、一致性、隔离性和持久性?
【问题讨论】:
标签: databricks acid delta-lake
Deltalog = Delta Lake 的事务日志。
deltalog 是有序 json 文件的集合。它充当单一事实来源,让用户可以访问DeltaTable 状态的最新版本。
DeltaTable 的一致性由其强大的模式检查来保证。
管理提交的并发性以确保它们的隔离。应用了乐观并发控制:
DeltaTable 视图并再次尝试注册提交,如果需要,在重新处理步骤之后。包含改变 DeltaTable 数据的操作的提交需要完成对底层 Parquet 文件(存储在文件系统上)的写入/删除才能被视为成功完成,使它们耐用。
进一步阅读:
【讨论】: