【问题标题】:Mapping columns from JSON in an Azure SQL Data Flow task在 Azure SQL 数据流任务中从 JSON 映射列
【发布时间】:2020-05-19 04:24:51
【问题描述】:

我正在尝试对 Azure 数据工厂数据流中的源 JSON 数据集执行简单的 SELECT 操作,但我收到一条错误消息,指出我的源中的所有列均无效。我使用确切的配置作为视频,除了我使用 JSON 文件而不是 CSV 文件。

在视频中的 1:12,您可以看到在配置源数据集后,源投影显示了源架构中的所有列。以下是教程视频的屏幕截图: 图像.png

下面是我尝试的屏幕截图: (我模糊了列名,因为它们与供应商应用程序中的列名匹配)

请注意,在我的投影中,我无法修改数据类型或格式。我不确定为什么不这样做,但我也不需要修改,所以我继续前进。我确实尝试过使用 CSV,并且能够修改数据类型。我假设这是一个 JSON 的东西,但我在这里指出以防万一有一些配置我应该看看。

在视频中的 6:48,您会看到用户添加了一个选择任务,这与我所做的完全一样。以下是添加任务后立即在教程中选择任务的屏幕截图:

请注意所有源列都出现了。下面是我选择任务的屏幕截图:

我很好奇为什么缺少列名?如果我手动输入它们,我会收到错误:“找不到列”

作为参考,下面是我的数据源设置的屏幕截图。我正在使用通过托管标识和 AutoResolvingIntegrationRuntime 连接的 Data Lake Storage Gen2 链接服务。 请注意,我也尝试使用 CSV 来执行此操作。我能够在 CSV 上编辑数据类型和格式,但在下一步中出现未找到相同列的错误。

【问题讨论】:

    标签: azure azure-data-factory


    【解决方案1】:

    尝试在其他浏览器中执行此操作或清除浏览器缓存。它可能只是自动生成的 JSON 中的格式设置。我以前也遇到过这种情况。

    【讨论】:

    • 仅供参考,您不能使用 JSON 格式修改源投影中的数据类型。但是,源投影中显示的任何内容也应该在后续转换中作为元数据提供。单击选择转换,然后单击检查。让我们知道那里显示了哪些列。此外,如果可以的话,从 UI 后面粘贴数据流脚本的副本。
    • 我很尴尬浏览器清除工作。我不认为不能更改数据类型有什么大不了的,但认为值得一提。谢谢你们!
    猜你喜欢
    • 1970-01-01
    • 2021-07-07
    • 1970-01-01
    • 2020-04-14
    • 1970-01-01
    • 2020-08-27
    • 2017-12-17
    • 2018-12-23
    • 2023-04-03
    相关资源
    最近更新 更多