Spark 流式传输到 Power BI

Question

顾名思义，我想在 Power BI 中查看实时数据。我已经建立了管道，直到我正在处理数据的火花流，现在我想推入 Power BI。最好使用 Python。

现在根据我的理解，可能有如下所述的不同方式。

1. 将流数据存储到 Azure Blob 并在 Power BI 中建立实时连接。我知道这听起来很完美，但可以这样做吗？
2. 第二种方法是在 Power BI 中创建推送数据集，获取 REST API URL 并将来自 Spark 流的请求发布到它。所以我的问题是，是否可以将 POST 请求从 spark 流发送到 Power BI？谷歌只告诉我在 Spark 中发送请求。与 Spark 流无关。
3. 使用 PubNub SDK。可能吗？基本上如何将数据从火花流发送到 PubNub 订阅者？
4. 将 Spark 流引入 HBASE，然后在 PowerBI 中与其建立实时连接。有可能吗？

我的目标是最小化延迟。

任何帮助将不胜感激。

Answer 1

这可能不是最好的方法。我认为最好的方法是编写自己的structured streaming integration。但是，您可以使用 PubNub。下面是一些 Python 代码，用于在 PubNub 频道上发布您的仪表板数据。

import requests

def publishRecord(record):
        requests.get('http://pubsub.pubnub.com/publish/publish_key_here/subscribe_key_here/0/pubnub_channel_name/0/' + str(record))   

rdd.foreach(publishRecord)

您可以使用 TypeScript 在仪表板中订阅同一频道。