Azure Synapse 中笔记本活动的流运行大小限制是多少？

Question

我创建了一个大型 Spark 笔记本并在 Azure Synapse 中成功运行它。然后我创建了一个新的管道，其中包含一个指向现有 spark 笔记本的新笔记本活动。我触发了它，但它失败并显示错误消息：

ErrorCode=FlowRunSizeLimitExceeded, ErrorMessage=Triggering the pipeline failed 
due to large run size. This could happen when a run has a large number of 
activities or large inputs used in some of the activities, including parameters.

该管道中只有一项活动；所以，不能超过活动的数量。我搜索了活动的流运行大小限制，但没有结果。笔记本活动的流运行大小限制是多少？

这里是信息：

Filename	Blob Size
UID_ISO_FIPS_LookUp_Table.csv	396 KiB
05-11-2021.csv	630 KiB
https://ghoapi.azureedge.net/api	476 KiB

Type	Size	Cell Total	Cluster Size
.ipynb notebook	668,522 bytes	43 cells	Small (4 vCores / 32 GB) - 3 to 3 nodes

这是触发管道后的错误信息

这是笔记本中的示例代码。目的是将三个文件连接成一个带有单个表的文件。对 csv 文件的一些处理是过滤、选择列、重命名列和聚合值。

有人可以解释为什么会出现错误消息吗？

Answer 1

我能够在一个小型 Spark 池中使用以下 Python 代码导入该 .csv：

%%pyspark
df = spark.read.load('abfss://someContainer@somestorageAccount.dfs.core.windows.net/raw/csv/05-11-2021.csv', format='csv'
, header = True
)
display(df.limit(10))

df.createOrReplaceTempView("tmp")

将其保存为临时视图允许您编写一些常规 SQL 来查询数据帧，例如

%%sql
SELECT SUM(deaths) xsum
FROM tmp