AWS Glue，加载到框架之前的数据过滤，命名 s3 对象

Question

我有 3 个问题，针对以下情况： 我正在尝试将我的历史从 RDS postgresql 迁移到 S3。我的数据库中有大约十亿行数据， Q1) 有没有办法让我告诉 aws 胶水作业要加载哪些行？例如，我希望它从某个日期开始加载数据？ PostgreSQL 数据源没有书签功能，

Q2) 处理完数据后，胶水作业会自动为 s3 输出对象创建名称，我知道我可以在 DynamicFrame 写入中指定路径，但我可以指定对象名称吗？如果是这样，如何？我找不到这个选项。

Q3) 我在一个包含 100 行数据的示例表上尝试了我的粘合作业，它自动将输出分成 20 个文件，每个文件中有 5 行，我如何在作业中指定批处理大小？

提前致谢

• 这个问题我也在 AWS Glue 论坛上发布过，这里有一个链接：https://forums.aws.amazon.com/thread.jspa?threadID=280743

Answer 1

1. Glue 支持pushdown predicates 功能，但目前它仅适用于 s3 上的分区数据。不过，有一个功能请求支持 JDBC 连接。
2. 无法指定输出文件的名称。但是，看起来有一个option with renaming files（请注意，在 s3 上重命名意味着将文件从一个位置复制到另一个位置，因此成本高昂且不是原子操作）
3. 您无法真正控制输出文件的大小。不过，control min number of files 可以选择使用 coalesce。同样从 Spark 2.2 开始，可以通过设置 config spark.sql.files.maxRecordsPerFile 来设置每个文件的最大记录数