AWS Athena - 获取当前日期的 QueryExecutionIds

Question

我想从 Athena 中提取在当前日期运行的查询的执行 ID。查询的数量没有限制。

我正在使用以下代码来提取 Id。但是，一旦获得在当前日期运行的查询的 ID，我就无法找到停止分页的方法。有没有办法只获取当前日期的查询？

另外，我在这里为MaxItems 提供了一个具体号码。这可以动态化吗？

client = boto3.client('athena')
paginator = client.get_paginator('list_query_executions')
response_iterator = paginator.paginate(           
                              PaginationConfig={
                                 'MaxItems': 1000, 
                                 'PageSize': 50
                              }
                   )
for page in response_iterator:
   print(page['QueryExecutionIds'])

Answer 1

正如约翰在他的回答中提到的那样，您没有直接的方法可以根据日期过滤执行 ID。但是，一旦您从 list_query_executions 方法中获取了执行 ID 列表，您就可以将此列表传递给 batch_get_query_execution 方法。

这将返回有关每个执行 ID 的信息，其中还包括每个查询的 SubmissionDateTime 和 CompletionDateTime。现在，您可以对匹配当前日期的任何此字段应用过滤器。如果执行 ID 超过 50 个，则需要使用 for 循环进行多次迭代

Answer 2

list_query_executions() 命令不提供日期过滤器。

因此，您需要在 Python 代码中过滤结果。

您可以通过跳出for 循环来停止分页。