Iceberg GCS 和一致性答案

【问题标题】：Iceberg GCS and ConsistencyIceberg GCS 和一致性
【发布时间】：2021-07-10 15:58:43
【问题描述】：

iceberg 是否支持将数据写入 GCS？因为要让冰山的原子性根据https://iceberg.apache.org/java-api-quickstart/ 工作，GCS 应该支持原子重命名，但是从https://cloud.google.com/storage/docs/gsutil/commands/mv GCS 重命名不是原子的。如果 iceberg 不支持 GCS，处理原子性的解决方法是什么

【问题讨论】：

【解决方案1】：

Hadoop 表实现是唯一使用重命名的地方，并且它需要一个支持原子重命名的文件系统。如果您使用的是像 S3 或 GCS 这样的对象存储，那么您应该使用 HMS 实现或自定义目录，而不是 Hadoop 表。

"表不需要重命名，使用原子重命名的表除外实现新元数据文件的提交操作。”

据我所知，一切都应该与 GCS 一起工作而无需修改。

GCS 中没有原生原子重命名，它需要移动 + 删除。可以参考页面https://iceberg.apache.org/spec/#mvcc-and-optimistic-concurrency。

【讨论】：