【问题标题】:Can be used wildcards in Azure Data Lake Gen 2 Rest API?可以在 Azure Data Lake Gen 2 Rest API 中使用通配符吗?
【发布时间】:2019-04-04 10:00:30
【问题描述】:

我创建了一个 Azure Data Lake gen2 文件系统来存储和恢复数据。我已经正确加载了我的数据(每天一个文件),但是,当我想使用 Azure Data Lake gen2 Rest API 获取它时,我只能为每个请求访问一个文件,所以,如果我需要例如一个月,我必须每天做一个请求并将其合并到我的本地计算机中,而最好直接在 Azure Data Lake gen2 中执行此操作。

我知道可以在 Databricks 中使用 SparkSQL 和通配符来完成,但如果我可以直接在 Azure Data Lake gen2 rest API 中使用通配符会更好。我一直在寻找这个,但我发现文档不清楚。每个人都知道是否可以在 Azure Data Lake gen2 Rest APi 中使用通配符之类的东西?

提前致谢

【问题讨论】:

    标签: azure wildcard azure-data-lake databricks


    【解决方案1】:

    我认为您正在谈论合并数据,目前我认为我们没有现有的 API 可以做到这一点,但这可以通过使用您提到的内容以及使用 U-SQL 和 ADF 来实现。

    【讨论】:

    • 非常感谢。我认为这是不可能的,但我想在开发另一个解决方案之前先澄清一下。我将检查 U-SQL 并与 Data Bricks 中的 SparkSQL 进行比较。
    猜你喜欢
    • 2020-01-19
    • 2020-11-22
    • 2023-03-04
    • 1970-01-01
    • 2019-09-23
    • 2022-11-10
    • 2021-03-26
    • 2020-01-24
    • 1970-01-01
    相关资源
    最近更新 更多