如何将 spark 数据帧数据加载到 Synapse 中的 Synapse Dedicated 池中？

Question

我有一个包含 100000 条记录的数据框，我们在进行转换后获得了这些记录，现在我必须将所有这些数据加载到 COUNTRY_TABLE 中的突触专用池中。我如何在 Synapse 中实现这一点？

很少有其他查询

1. 是否必须在专用池表中创建数据框列的模式？
2. 我们如何通过在 spark notebook 中使用查询在专用池中每次覆盖数据，如果出现新数据，我想每次都用新数据覆盖旧数据。

Answer 1

您可以使用 Azure Synapse Dedicated SQL Pool Connector for Apache Spark 将数据加载到 Synapse Spark Pool，因为记录数相对较少。另一种选择是使用COPY command。