【问题标题】:Azure Data Lake Service Principal write w/ Data FactoryAzure 数据湖服务主体写入数据工厂
【发布时间】:2017-11-18 11:11:01
【问题描述】:

我创建了一个服务主体,并设置了必要的链接服务以利用 ADF 中的凭据和密钥等,以下是如何完成此操作的简要说明:

https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-authenticate-using-active-directory

当我执行我的管道并将文件写入 ADL 时,我可以看到顶级文件夹(我已登录 ADL 服务的创建者,并且也是资源组的贡献者),但我我绝对无法进一步深入研究。

我收到的错误基本上归结为 ACL 错误。

有趣的是,我在使用服务主体时也没有将执行位置列为:美国东部 2。

当我在数据工厂(使用我自己的凭据)中手动验证 ADL 连接时,一切正常,“执行位置”现在正确列为北欧。

有人见过吗?

【问题讨论】:

    标签: azure azure-data-factory azure-data-lake


    【解决方案1】:

    帮助阅读:https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-access-control

    您遇到的问题就像您提到的 ACL 问题。通过仅具有贡献者访问权限,您只能在管理平面而不是帐户的数据平面上拥有访问权限和权限。

    这是思考 ACL 的心智模型

    1. 如果您需要能够读取文件,则需要对该文件的 r-x 访问权限,以及父文件夹的 --x 权限一直到 root。

    2. 如果您创建一个新文件夹,并为自己创建一个默认 ACL 条目,它将适用于在其下创建的所有 新 文件和文件夹。

    要解决您的问题,请让超级用户(来自 Owners 组的人)授予您此访问权限。

    或者,如果您是所有者,您将拥有独立于任何 ACL 的任何文件/文件夹的 RWX 访问权限。

    这应该可以解决您的问题。

    【讨论】:

    • 所以问题基本上是我自己的烫发没有被推倒,我怀疑这个..我会读那个链接。我已经开始阅读它,但它很详细:)
    • 除非您处于“所有者”角色或任何其他有权访问的组中,否则默认情况下不会下推任何内容。 Azure Data Lake Store 使用 POSIX ACL - 如果您遇到任何问题,我很乐意详细解释。请告诉我。
    • 嗯.. ? 有点不清楚,但我会阅读该链接并回复您。感谢您的快速解答!
    • 我解决了您的问题吗?如果我们能提供更多帮助,请告诉我。
    • 嗨,我是这么认为的...但是我们的项目团队在访问数据时仍然遇到问题。我们面临的问题是,我不确定确保所有需要数据的用户始终可以读取/写入数据的最佳实践/流程。例如,我已经离开了几天,并且现在无法读取当时已写入服务的任何数据...
    猜你喜欢
    • 2021-10-07
    • 1970-01-01
    • 2023-03-25
    • 2020-07-06
    • 2018-08-01
    • 1970-01-01
    • 2021-08-24
    • 2021-05-27
    • 2021-06-22
    相关资源
    最近更新 更多