【发布时间】:2022-12-29 09:30:41
【问题描述】:
我正在尝试找到一些集成以在 adls/azure 数据湖上使用冰山表格式来执行 crud 操作。是否可以不使用像 spark 这样的任何其他计算引擎来在 azure 上使用它。我认为 aws s3 支持这个用例。关于它的任何想法。
【问题讨论】:
标签: amazon-s3 azure-data-lake azure-data-lake-gen2 trino iceberg
我正在尝试找到一些集成以在 adls/azure 数据湖上使用冰山表格式来执行 crud 操作。是否可以不使用像 spark 这样的任何其他计算引擎来在 azure 上使用它。我认为 aws s3 支持这个用例。关于它的任何想法。
【问题讨论】:
标签: amazon-s3 azure-data-lake azure-data-lake-gen2 trino iceberg
spark 可以将 Iceberg 与 abfs 连接器、hdfs 甚至本地文件一起使用。您只需要类路径和身份验证权
【讨论】:
晚会有点晚了,但 Starburst Galaxy 在任何 Azure 区域部署了 Trino,并有一个支持 Hive(parquet、orc、csv 等)、Delta Lake 和 Iceberg 的 Great Lakes 连接器。 https://blog.starburst.io/introducing-great-lakes-connectivity-for-starburst-galaxy
【讨论】: