在 Databricks 中从 Azure Datalake 读取 AVRO

Question

我正在尝试读取 eventthub 数据 (AVRO) 格式。我在将数据加载到数据块中的数据框中时遇到问题。

这是我正在使用的代码。如果我做错了什么，请告诉我

path='/mnt/datastore/origin/zone=raw/subject=customer_events/source=EventHub/ver=1.0/*.avro'

df = spark.read.format("com.databricks.spark.avro") \
    .load(path)

错误

IllegalArgumentException: 'java.net.URISyntaxException: Relative path in absolute URI:

我确实尝试使用一些代码来消除错误，但我收到了语法错误

import org.apache.spark.sql.SparkSession
SparkSession spark = SparkSession
                     .builder()
                   .config("spark.sql.warehouse.dir","/mnt/datastore/origin/zone=raw/subject=customer_events/source=EventHub/ver=1.0/")
                   .getOrCreate()



SyntaxError: invalid syntax
File "<command-265213674761208>", line 2
SparkSession spark = SparkSession

Answer 1

绝对 URI 中的相对路径

您需要指定协议而不是使用/mnt

例如，wasb://some/path/ 如果从 Azure blobstore 读取

您也可以排除 *.avro，因为 Avro 阅读器应该已经读取了路径中的所有 Avro 文件

https://docs.databricks.com/data/data-sources/read-avro.html#python-api

如果你想从 EventHub 中读取，它会公开一个 Kafka API，而不是文件路径，AFAIK