将事件中心连接到 Azure Databricks

Question

我想在 Azure Databricks 中添加库以连接到事件中心。我将用python写笔记本。那么我应该添加哪个库来连接到事件中心？

到目前为止，根据我的搜索，我在 Maven 坐标中得到了一个火花连接库。但我不认为我将能够在 python 中导入它。

Answer 1

Azure 事件中心的结构化流式集成最终在 JVM 上运行，因此您需要从以下 Maven 坐标导入库：

 groupId = com.microsoft.azure
  artifactId = azure-eventhubs-spark_2.11
  version = 2.3.10

注意：对于 Python 应用程序，您需要在部署应用程序时添加上述库及其依赖项。

更多详情，请参阅“Structured streaming + Event Hubs Integration Guide for PySpark”和“Attach libraries to Spark Cluster”。

另外，您可以参考SO 线程，它解决了类似的问题。

希望这会有所帮助。