【问题标题】:Not Able to Publish ADF Incremental Package无法发布 ADF 增量包
【发布时间】:2018-03-10 02:41:17
【问题描述】:

如前所述,通过here 将数据从 Premises Mysql 同步到 Azure SQL 的线程引用了此article,并发现用于水印检测的查找组件仅适用于 SQL Server。

所以尝试了一项工作,在使用“复制”数据流任务时,将选择大于从 Mysql 存储的最后一个水印的数据。

问题: 能够成功验证包但无法发布相同的包。

问题: 在复制数据流任务中,我使用以下查询从 MySql 获取大于可用水印的数据。

我们不能像下面这样在 Mysql 等其他关系源上使用查询

select * from @{item().TABLE_NAME} where @{item().WaterMark_Column} > '@{activity('LookupOldWaterMark').output.firstRow.WatermarkValue}'

CopyTask SQL 查询预览

验证成功

没有详细信息的错误

调试成功

按照 Franky 提到的步骤后出现错误 Azure SQL 链接服务错误(通过在连接选项卡中重新配置连接/编辑凭据解决)

Source Query 为空(通过重新选择源类型和重写查询来解决)

【问题讨论】:

    标签: azure-data-factory azure-data-factory-2


    【解决方案1】:

    您能否验证您是否有权在 azure 门户中创建模板部署?

    1) 导出 ARM 模板:在 ADFv2 门户的右上角,单击 ARM 模板 -> 导出 ARM 模板,解压 zip 文件并复制“arm_template.json”文件的内容。

    2) 创建 ARM 模板部署:转到 https://portal.azure.com/#create/Microsoft.Template 并使用您在 ADFv2 门户中使用的相同凭据登录(您也可以在 Azure 门户中访问此页面,单击“创建资源”并搜索“模板部署”)。现在单击“在编辑器中构建您自己的模板”并将上一步中的 ARM 模板粘贴到编辑器中并保存。

    3) 部署模板:单击现有资源组并选择与您的数据工厂所在的资源组相同的资源组。填写缺少的参数(对于此测试,值是否有效并不重要);工厂名称应该已经存在。同意条款并点击购买。

    4) 验证部署成功。如果不让我知道错误,则可能是访问问题,可以解释您的发布失败的原因。 (ADF 团队正在努力为这个问题提供更好的错误)。

    【讨论】:

    • 谢谢。部署确实成功,但在触发相同的第一个 Azure SQL 连接时通知我错误,我重新配置了它,第二个复制管道源选项卡缺少源类型(因为我的源是 Mysql)和查询以从同一源中选择增量值,即“select * from @ {item().TABLE_NAME} 其中@{item().WaterMark_Column} > '@{activity('LookupOldWaterMarkActivity').output.firstRow.WatermarkValue}'"。在重做我现在能够从创作 UI 发布的所有内容之后,还登录我用来为我的订阅配置所有这些超级管理员。
    【解决方案2】:

    是否有任何对象发布到您的数据工厂?

    【讨论】:

    • 作为一个新手,我实际上并不知道,但另外我昨天调试了我的管道,它也成功运行了。您能告诉我如何检查是否发布了任何对象吗?
    • 打开另一个浏览器选项卡或窗口并导航到数据工厂的另一个创作 UI。查看管道是否在那里发布。
    • 我检查了,在创作 UI 中没有发布任何内容
    • 看起来该消息正在阻止您的对象被发布。您能否通过 UI 上的“反馈”按钮或通过 Azure 票证向我们报告该错误消息框?
    猜你喜欢
    • 2021-12-29
    • 2022-10-25
    • 1970-01-01
    • 1970-01-01
    • 2015-03-05
    • 1970-01-01
    • 2023-02-03
    • 2021-12-01
    • 1970-01-01
    相关资源
    最近更新 更多