Delta Lake 独立于 Apache Spark？

Question

我一直在探索数据湖库概念和 Delta Lake。它的一些功能看起来真的很有趣。在项目主页https://delta.io/ 上，有一张图表显示 Delta Lake 在“您现有的数据湖”上运行，而没有提及 Spark。在其他地方，它表明 Delta Lake 确实运行在 Spark 之上。所以我的问题是，它可以独立于 Spark 运行吗？例如，我可以在架构中不使用 Spark 的情况下，使用 S3 存储桶设置 Delta Lake，以 Parquet 格式存储、模式验证等吗？

Answer 1

你可能会关注这个：https://github.com/delta-io/delta-rs

这是早期的，目前是只读的，但随着项目的发展值得关注。

Answer 2

tl;dr 没有

---

直到 0.8.0 和包括 Delta Lake 都与 Apache Spark 紧密集成，因此没有 Spark 就不可能拥有 Delta Lake。