【发布时间】:2020-05-26 02:02:19
【问题描述】:
我想删除雪花表中数据框对象中的一条记录。
同样,我想根据雪花表中数据框中的“键”执行更新。
我的研究表明 utils 方法可以执行 DDL 操作,但我找不到可以参考的示例。
【问题讨论】:
标签: python aws-glue snowflake-cloud-data-platform
我想删除雪花表中数据框对象中的一条记录。
同样,我想根据雪花表中数据框中的“键”执行更新。
我的研究表明 utils 方法可以执行 DDL 操作,但我找不到可以参考的示例。
【问题讨论】:
标签: python aws-glue snowflake-cloud-data-platform
如您所述,您可以使用 Utils 对象的 runQuery() 方法来执行 DDL/DML SQL 语句:
如果你想基于一些键来做,那么你可以在 DataFrame 上迭代项目,并为每个项目运行一条 SQL:
how to loop through each row of dataFrame in pyspark
但是这将成为性能杀手。 Snowflake 是一个数据仓库,因此您应该始终更喜欢“批量更新”而不是单行更新。
我建议您将数据框写入 Snowflake 中的暂存表,然后调用 SQL 以根据暂存表更新目标表中的行。
【讨论】: