使用 pySpark 在 Azure Databricks 中使用 EventHub 中的事件

【问题标题】：Consume events from EventHub In Azure Databricks using pySpark使用 pySpark 在 Azure Databricks 中使用 EventHub 中的事件
【发布时间】：2018-08-28 09:10:20
【问题描述】：

我可以在 Azure Databricks 中看到使用 Scala 从事件中心消费事件的火花连接器和指南。

但是，我们如何使用 pySpark 从 Azure Databricks 消费事件中心中的事件？

任何建议/文档详细信息都会有所帮助。谢谢

【问题讨论】：

标签： azure apache-spark pyspark azure-eventhub databricks

【解决方案1】：

以下是用于从 pyspark 在 azure data-bricks 上从事件中心读取事件的 sn-p。

// With an entity path 
val with = "Endpoint=sb://SAMPLE;SharedAccessKeyName=KEY_NAME;SharedAccessKey=KEY;EntityPath=EVENTHUB_NAME"


# Source with default settings
connectionString = "Valid EventHubs connection string."
ehConf = {
  'eventhubs.connectionString' : connectionString
}

df = spark \
  .readStream \
  .format("eventhubs") \
  .options(**ehConf) \
  .load()

readInStreamBody = df.withColumn("body", df["body"].cast("string"))
display(readInStreamBody)

【讨论】：