【问题标题】:Is there a way to stop Azure ML throwing an error when exporting zero lines of data?导出零行数据时,有没有办法阻止 Azure ML 抛出错误?
【发布时间】:2021-05-26 23:24:50
【问题描述】:

我目前正在开发一个 Azure ML 管道,它的输出之一是维护一个 SQL 表,其中包含所有输入到其中的唯一项目。无法提前知道输入管道的数据是新的唯一项目还是先前项目的重复,因此在更新它维护的表之前,它会提取该表中已经存在的数据并删除已经存在的任何新项目出现。

但是,由于这个原因,在某些情况下,这种自引用会导致找到零个新项目,因此没有任何内容可以导出到 SQL 表。发生这种情况时,Azure ML 会引发错误,因为要导出零行数据会被视为错误。然而,就我而言,这是预期的行为,因此绝对没问题。

我有什么办法可以抑制这个错误,这样当它有零行数据要导出时,它只是跳过导出模块并继续前进?

【问题讨论】:

    标签: azure azure-sql-database azure-machine-learning-studio


    【解决方案1】:

    听起来好像您正在努力编排数据管道,因为编排发生在两个地方。我的建议是要么将更多的业务流程转移到 Azure ML 中,要么让两者之间的距离更大。一种方法是定期导出到要用作训练的表的 blob。然后,只要非空 blob 落在该位置,您就可以使用逻辑应用触发管道

    【讨论】:

      【解决方案2】:

      此问题已通过 Azure 机器学习的更新得到解决;您现在可以运行将标志设置为“继续失败步骤”的管道,这意味着失败的数据导出之后的步骤将继续运行。

      这确实意味着您需要将管道设计为能够处理其下游模块中的上游故障;这必须非常小心。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2015-04-09
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2019-10-20
        相关资源
        最近更新 更多