我正在尝试将 Azure Synapse DW 中的数据加载到如图所示的数据帧中。
但是，我收到以下错误：
AttributeError: 'DataFrameReader' object has no attribute 'sqlanalytics'
Traceback (most recent call last):
AttributeError: 'DataFrameReader' object has no attribute 'sqlanalytics'
对我做错了什么有什么想法吗？
【问题讨论】：
标签： apache-spark azure-synapse
该特定方法已将其名称更改为synapsesql（根据注释here），并且目前仅据我了解是Scala。因此正确的语法应该是：
%%spark
val df = spark.read.synapsesql("yourDb.yourSchema.yourTable")
可以通过createOrReplaceTempView 方法与Python 共享Scala 数据帧，但我不确定它的效率如何。混合和匹配描述为here。因此，对于您的示例，您可以像这样混合和匹配 Scala 和 Python：
单元格 1
%%spark
// Get table from dedicated SQL pool and assign it to a dataframe with Scala
val df = spark.read.synapsesql("yourDb.yourSchema.yourTable")
// Save the dataframe as a temp view so it's accessible from PySpark
df.createOrReplaceTempView("someTable")
细胞 2
%%pyspark
## Scala dataframe is now accessible from PySpark
df = spark.sql("select * from someTable")
## !!TODO do some work in PySpark
## ...
上面的链接示例显示了如何在需要时也将数据帧写回专用 SQL 池。
这是一篇关于使用 Synpase 笔记本导入/导出数据的好文章，限制在 Constraints 部分中描述：
【讨论】：