【问题标题】:How to update / delete in snowflake from the AWS Glue script如何从 AWS Glue 脚本中更新/删除雪花
【发布时间】:2020-05-26 02:02:19
【问题描述】:

我想删除雪花表中数据框对象中的一条记录。

同样,我想根据雪花表中数据框中的“键”执行更新。

我的研究表明 utils 方法可以执行 DDL 操作,但我找不到可以参考的示例。

【问题讨论】:

    标签: python aws-glue snowflake-cloud-data-platform


    【解决方案1】:

    如您所述,您可以使用 Utils 对象的 runQuery() 方法来执行 DDL/DML SQL 语句:

    https://docs.snowflake.net/manuals/user-guide/spark-connector-use.html#executing-ddl-dml-sql-statements

    如果你想基于一些键来做,那么你可以在 DataFrame 上迭代项目,并为每个项目运行一条 SQL:

    how to loop through each row of dataFrame in pyspark

    但是这将成为性能杀手。 Snowflake 是一个数据仓库,因此您应该始终更喜欢“批量更新”而不是单行更新。

    我建议您将数据框写入 Snowflake 中的暂存表,然后调用 SQL 以根据暂存表更新目标表中的行。

    【讨论】:

    • 如何从 python 脚本中导入它?你能举个例子吗?
    • @xyz 这个答案似乎对任何人都没有用(尽管它是正确且有用的),所以我不想在同一主题上花费太多时间。
    猜你喜欢
    • 2021-06-04
    • 2022-01-23
    • 1970-01-01
    • 2020-08-06
    • 1970-01-01
    • 2022-01-07
    • 2021-06-18
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多