AWS Glue - 从 SQL 表中删除行

Question

我正在创建一个使用 JDBC 连接到 SQL Server 的 AWS Glue 作业。这项工作的目的是在一些逻辑之后将数据插入到 SQL Server 中。我需要先从目标 SQL Server 表中删除现有行，然后将 AWS Glue 作业中的数据插入到该表中。

我查看了许多文章，但找不到删除/截断 SQL Server 中现有行的详细信息。

如果有任何选择，请告诉我吗？

Answer 1

我找不到通过 AWS Glue 从表中删除特定行的选项。请在下面的链接中找到截断现有表的选项。

https://commenting.awsblogs.com/embed.html?disqus_shortname=aws-big-data-blog&disqus_identifier=4912&disqus_title=Use+AWS+Glue+to+run+ETL+jobs+against+non-native+JDBC+data+sources&disqus_url=https://aws.amazon.com/blogs/big-data/use-aws-glue-to-run-etl-jobs-against-non-native-jdbc-data-sources/#comment-4891498420

Answer 2

您要查找的删除操作类型不可用。另一种方法是使用 python 模块来实现您想要的操作。为每一行运行它可能会很慢。您可以尝试不同的模式，看看哪一种能提供最佳性能。一个示例是，将要删除的记录加载到临时表并运行 sql 命令以使用临时临时表中的行对目标表进行删除。如果负载很大，那会更好。 sql 命令可以通过一个像 pypyodbc 一样的纯 python 的 python dB 模块运行。

Answer 3

请为该作业启用书签，该作业保存最后处理的数据并附加在源上生成的任何新数据。