【问题标题】:Deploying USQL project部署 USQL 项目
【发布时间】:2017-09-15 20:42:00
【问题描述】:

我是数据湖分析和使用 USQL 的新手。

我目前正在设置将替换现有 SSIS 工作流的数据工厂管道。数据工厂管道本质上将

  1. 将数据事务数据库提取到 ADLS
  2. 使用 USQL 转换原始实体
  3. 使用自定义活动将数据加载到 SSAS 中

问题

我已经设置了一个 USQL 项目,并且想要将它们部署到 ADLA 的标准方法,而不是仅仅将脚本上传到商店中的文件夹。

【问题讨论】:

    标签: azure-data-lake azure-data-factory u-sql


    【解决方案1】:

    好问题!

    我不确定标准方法,甚至可能被认为是最佳实践的方法。但我使用你提到的所有工具来执行非常相似的任务。

    尝试回答您的问题: 我所做的是将 U-SQL 脚本创建为逻辑 ADLA 数据库中的存储过程。在 VS USQL 项目中,每个存储过程都有 1 个脚本。然后 ADF 活动调用 proc 名称。这为您提供了服务之间正确级别的断开连接,也意味着您不需要额外的 Blob 存储来存储 USQL 文件。

    在我的 VS 解决方案中,我经常还有一个 PowerShell 项目来帮助管理事情。具体来说,就是需要我所有的“usp_”U-SQL 脚本来创建一个可以部署到逻辑 ADLA 数据库的大型 DDL 样式的东西。

    然后,PowerShell 使用提交作业 cmdlet 为我进行部署。下面的例子。

    Submit-AzureRmDataLakeAnalyticsJob `
            -Name $JobName `
            -AccountName $DLAnalytics `
            –Script $USQLProcDeployAll `
            -DegreeOfParallelism $DLAnalyticsDoP
    

    希望这能给您带来指导。我也承认这些工具仍然相当新。所以欢迎其他建议。

    干杯

    【讨论】:

    • power shell 脚本对我来说很好用。感谢您的意见
    猜你喜欢
    • 1970-01-01
    • 2011-10-29
    • 2019-08-04
    • 2016-10-30
    • 2021-11-20
    • 2012-04-09
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多