【问题标题】:Apache Iceberg table format to ADLS / azure data lakeApache Iceberg 表格式到 ADLS / azure 数据湖
【发布时间】:2022-12-29 09:30:41
【问题描述】:

我正在尝试找到一些集成以在 adls/azure 数据湖上使用冰山表格式来执行 crud 操作。是否可以不使用像 spark 这样的任何其他计算引擎来在 azure 上使用它。我认为 aws s3 支持这个用例。关于它的任何想法。

【问题讨论】:

    标签: amazon-s3 azure-data-lake azure-data-lake-gen2 trino iceberg


    【解决方案1】:

    spark 可以将 Iceberg 与 abfs 连接器、hdfs 甚至本地文件一起使用。您只需要类路径和身份验证权

    【讨论】:

      【解决方案2】:

      晚会有点晚了,但 Starburst Galaxy 在任何 Azure 区域部署了 Trino,并有一个支持 Hive(parquet、orc、csv 等)、Delta Lake 和 Iceberg 的 Great Lakes 连接器。 https://blog.starburst.io/introducing-great-lakes-connectivity-for-starburst-galaxy

      【讨论】:

      • 正如目前所写,您的答案尚不清楚。请edit 添加更多详细信息,以帮助其他人了解这如何解决所提出的问题。你可以在in the help center找到更多关于如何写出好的答案的信息。
      猜你喜欢
      • 1970-01-01
      • 2018-08-19
      • 1970-01-01
      • 2021-04-11
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-05-28
      • 1970-01-01
      相关资源
      最近更新 更多