【问题标题】:Azure Percept to Stream Analytics to PowerBI DirectQuery connection with PowerQuery calendarAzure Percept 通过 Power Query 日历将分析流式传输到 Power BI DirectQuery 连接
【发布时间】:2021-09-24 14:43:51
【问题描述】:

问题定义:我通过 Azure 流分析将带有时间戳的 Azure Percept 数据馈送到 PowerBI 报告。我想添加一个自定义日历表并将其与关系联系在一起,但日期时间数据类型不允许关系在 PowerBI 桌面中的两个表之间正常工作。

可能的解决方案:是否可以更改 DirectQuery 连接中字段的数据类型,或者是否可以将数据类型定义为日期并在流分析中为时间创建单独的字段?

重现步骤:

  1. 启动 Azure Percept
  2. 开始流分析作业
  3. 启动 PowerBI Desktop 并使用 Get Data -> PowerBI Datasets 连接到 PowerBI 服务中的数据集
  4. 在 PowerQuery 中创建日历表
  5. 通过从日历表中的日期字段到 powerBI 服务数据集中的 datetimestamp 字段的关系将这两个表连接在一起。
  6. 弹出窗口询问您是否要转换为 DirectQuery 连接,说是,然后连接两个日期字段。
  7. 但在报表视图中,日历表日期字段上的切片器不会过滤其他直接连接的表。

我尝试过的:

  • 将 datetimestamp 字段的格式从直接查询更改为日期格式(未显示时间戳),但这不起作用。
  • 查看了流分析文档,尝试转换为日期数据类型,但似乎不支持日期数据类型。

我用来将 Percept 数据放入 PowerBI 的查询代码(用于流分析)。

SELECT
    Percept.ArrayValue.label,
    Percept.ArrayValue.confidence,
    GetArrayElement(Percept.ArrayValue.bbox, 0) AS bbox0,
    GetArrayElement(Percept.ArrayValue.bbox, 1) AS bbox1,
    GetArrayElement(Percept.ArrayValue.bbox, 2) AS bbox2,
    GetArrayElement(Percept.ArrayValue.bbox, 3) AS bbox3,
    Percept.ArrayValue.bbox,
CAST (udf.main(Percept.ArrayValue.timestamp) as Datetime) as DETECTION_TIMESTAMP,
    Percept.ArrayValue.timestamp
INTO
    "PowerBI Output"
FROM
    "IoT HUB Input" as event
    CROSS APPLY GetArrayElements(event.Neural_Network) AS Percept
WHERE
    CAST(Percept.ArrayValue.confidence as Float) > 0.6

【问题讨论】:

标签: powerbi azure-stream-analytics azure-iot-edge powerbi-datasource azure-percept


【解决方案1】:

我认为您可以在 ASA 方面实现如下所示的内容。我试图提出的逻辑是读取日期时间的“部分”并将其连接起来以构造日期和时间字段。

,CONCAT ( DATEPART ( YYYY, (udf.main(Percept.ArrayValue.timestamp)) , '-' , DATEPART ( mm ,(udf.main(Percept.ArrayValue.timestamp)), '-',DATEPART ( dd ,(udf.main(Percept.ArrayValue.timestamp) ) as 'Date-Only'

,CONCAT ( DATEPART ( hr, (udf.main(Percept.ArrayValue.timestamp)) , ':' , DATEPART ( mi ,(udf.main(Percept.ArrayValue.timestamp)), ':',DATEPART ( ss ,(udf.main(Percept.ArrayValue.timestamp) ) as 'time Only'

您还提到您正在使用直接查询来提取 PowerBI 中的数据,我知道您也可以在 PowerBI 端实现类似的逻辑

请告诉我进展如何。

【讨论】:

  • Himanshi,尝试了 Concat,出现语法错误。仅在 YYYY 上尝试了 DATEPART 并且还出现了语法错误。 SELECT Percept.ArrayValue.label, Percept.ArrayValue.confidence, Percept.ArrayValue.bbox, DATEPART ( YYYY, (udf.main(Percept.ArrayValue.timestamp)) as DateOnly, CAST (udf.main(Percept.ArrayValue.timestamp) as Datetime) as DETECTION_TIMESTAMP, Percept.ArrayValue.timestamp
  • 我连接到powerbi服务数据源,连接方式不允许我修改,因为它是直接查询。这就是我沿着流分析路线尝试修改数据类型的原因。
【解决方案2】:

如果我理解正确,您的 ASA 作业中有 Power BI 输出,而不是数据库中的表。

如果是这种情况,则在 Power BI 中创建的用于保存数据的是 Streaming Dataset。流数据集的限制之一是它们不能成为模型的一部分。我不明白为什么 Desktop 允许您创建关系,这应该是不可能的。

如果您需要这种关系,您可以:

  • 针对新创建的表,从 Power BI 输出切换到 ASA 的 Azure SQL 输出。然后使用 Direct Query 模式在该表上构建您的模型。它不是一个实时解决方案,但您可以将数据长期存储在 SQL 数据库中。
  • 从 ASA 切换到新发布的(仍处于预览阶段)Power BI Streaming Dataflows。在引擎盖下它仍然是 ASA,但除了与 Power Bi 更一致的开发体验之外,您还可以获得带有冷热存储的新输出表。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-06-13
    • 1970-01-01
    相关资源
    最近更新 更多