有没有办法在 Azure 数据工厂/Azure Synapse 中将 Spark 配置设置为映射数据流托管集群/IR？

Question

我试图使用 delta 表作为我的接收器，我想将 Vacuum 设置为 0。它抛出了一个错误，我应该首先设置配置 'spark.databricks.delta.retentionDurationCheck.enabled em>':'false' 但我看不到在哪里可以设置此属性，因为用于映射数据流的计算集群是由 Azure 在运行时创建和管理的。此外，我想根据要求配置另一种 spark 配置，即“spark.sql.parquet.compression.codec”。有可能吗？

Answer 1

这是不可能的，因为 Mapping Data Flows 使用的 Spark 环境完全由 ADF 服务管理。话虽如此，我们将在 CY22 中向 Delta 连接器公开更多属性。