Azure Data Lake 在存储用于 Power BI 可视化的 SQL 数据库方面有多好？

Question

我们有一个 Azure SQL 数据库，我们在其中收集大量传感器数据，并定期从中提取数据并使用 python 脚本对其进行一些转换。最终结果是一个 pandas DataFrame 文件。我们希望将转换后的数据存储在 Azure 数据库中，并将其用作 Power BI 仪表板的来源。

一方面，我们想在仪表板上显示“几乎”实时的数据（由于转换等造成的延迟是可以接受的，但仪表板需要非常频繁地刷新，比如说一分钟一次） ，但我们也想存储转换后的数据并在以后查询它，例如仅可视化给定日期的数据。 是否可以将 pandas DataFrame 转换为 SQL 并将其存储在 Data Lake 中并从那里流式传输数据？我读到可以在 Data Lake 上存储结构化数据，甚至可以对其进行查询，但我不确定这是否是最佳解决方案。

（我当前的任务是选择最好的数据库来存储转换后的数据，以便以后启用流式传输和查询。我是 Azure 产品的新手，我还没有沙盒帐户，甚至无法尝试和识别可能的陷阱。我刚刚发现 PowerBI 不支持 DataLake 的 DirectQuery，我觉得这可能是一个问题——这意味着如果我们想可视化一个子集，我们必须首先查询 DataLake 上的数据并将其存储在某个地方，对吗？）

Answer 1

Azure Datalake 不是数据库，只是结构化和非结构化数据的存储，因此如上所述，除非您有一定的计算能力（Databricks、Azure Synapse、Azure DataLake Analytics、Power BI Premium），否则无法直接查询它具有增强的计算能力）

根据您的方法，最好从 Azure SQL 数据库和 Pandas 迁移到 Azure Databricks，后者可以提取流数据、转换并提供存储在数据湖中的输出表。然后，您将 Power BI 连接到 Databricks 实例并对其进行查询。数据仅在集群运行时可用。 迁移到 Databricks 将涉及将您的 Panda 代码重写为 Koalas，或者最好是 Pyspark。

您可以选择使用 Databricks 将项目写回 Azure SQL 数据库表。根据您正在进行的转换，您可以将其全部保存在 Azure SQL 中，或者如果是传感器数据流，则将数据通过 Azure 事件中心、Azure 流分析（进行转换）、Azure SQL 数据库（存储实时和历史数据） )。