【问题标题】:How to do paging with simpledb?如何使用 simpledb 进行分页?
【发布时间】:2009-11-25 07:33:00
【问题描述】:

我知道如何使用 NextToken 转发 SimpleDB 数据。但是,究竟如何处理前一页?我在.NET 上,但我认为这并不重要。我对总体策略更感兴趣。

Mike Culver 的 An Introduction to Amazon SimpleDB 网络研讨会提到使用了面包屑,但他没有在视频中实现它们。

编辑:视频中提到了一个实现向后分页的示例项目,但视频在显示下载 URL 之前就结束了。我发现的一个示例项目没有处理分页。

【问题讨论】:

    标签: c# amazon-simpledb


    【解决方案1】:

    当转到下一页时,您可以通过只允许“下一页”而不是任意分页来简化用例。您可以使用 LIMIT 子句在 SimpleDB 中执行此操作:

    SELECT title, summary, votecount FROM posts WHERE userid = '000022656' LIMIT 25
    

    您已经知道如何处理 NextToken,但是如果您使用这种策略,您可以通过存储下一个令牌的面包屑路径(例如在 Web 会话中)并使用上一个令牌重新发出查询来支持“上一页” NextToken 而不是后续的。

    但是,在 SimpleDB 中处理任意分页的一般情况对于上一个和下一个是相同的。在一般情况下,用户可以点击任意页码,例如 5,而从未访问过第 4 或第 6 页。

    您在 SimpleDB 中通过使用 NextToken 仅需要 WHERE 子句相同才能正常工作这一事实来处理此问题。因此,您通常可以分两步完成,而不是按顺序查询每个页面并拉下所有中间项目。

    1. 使用所需页面应从何处开始的限制值和 SELECT count(*) 发出您的查询,而不是您想要的实际属性。
    2. 使用第一步中的 NextToken 获取实际页面数据,使用所需的属性和页面大小作为 LIMIT

    所以在伪代码中:

    int targetPage, pageSize;
    ...
    int jumpLimit = pageSize * (targetPage - 1);
    String query = "SELECT %1 FROM posts WHERE userid = '000022656' LIMIT %2";
    String output = "title, summary, votecount";
    Result temp = sdb.select(query, "count(*)", jumpLimit);
    Result data = sdb.select(query, output, pageSize, temp.getToken());
    

    其中 %1 和 %2 是字符串替换,“sdb.select()”是一个虚构的方法,其中包括字符串替换代码以及 SimpleDB 调用。

    是否可以通过两次调用 SimpleDB(如代码所示)完成此操作,取决于 WHERE 子句的复杂性和数据集的大小。上面的代码经过简化,如果查询运行时间超过 5 秒,则临时结果可能返回了部分计数。你真的很想把那条线放在一个循环中,直到达到正确的计数。为了让代码更真实一点,我将把它放在方法中并去掉字符串替换:

    private Result fetchPage(String query, int targetPage)
    {
        int pageSize = extractLimitValue(query);
        int skipLimit = pageSize * (targetPage - 1);
        String token = skipAhead(query, skipLimit);
        return sdb.select(query, token);
    }
    
    private String skipAhead(String query, int skipLimit)
    {
        String tempQuery = replaceClause(query, "SELECT", "count(*)");
        int accumulatedCount = 0;
        String token = "";
        do {
            int tempLimit = skipLimit - accumulatedCount;
            tempQuery = replaceClause(tempQuery , "LIMIT", tempLimit + "");
            Result tempResult = sdb.select(query, token);
            token = tempResult.getToken();
            accumulatedCount += tempResult.getCount();
        } while (accumulatedCount < skipLimit);
        return token;
    }
    
    private int extractLimitValue(String query) {...}
    private String replaceClause(String query, String clause, String value){...}
    

    这是没有错误处理的一般思路,适用于任意页面,不包括第 1 页。

    【讨论】:

    • 感谢您的详尽回复!
    • 当我运行一个语句以计数到一个限制时,我在结果末尾没有得到一个令牌(即使我循环通过令牌)我错过了什么吗?
    • 这是一个很好的答案,但它仅适用于正向分页,如何进行反向分页?让我们说一个具有多个页面的功能......
    • 迟到的评论,但无论如何...对于“返回”链接,您需要存储当前页面的查询,并且在打开下一页时,使用当前页面查询作为“返回”链接。
    【解决方案2】:

    我记得在其中一个棕色袋子网络研讨会中,顺便提到了可以重新提交令牌并且您会得到相应的结果集。

    我还没有尝试过,这只是一个想法,但是在您向前翻页时构建一个令牌列表怎么样?然后,要返回,只需向后遍历列表并重新提交令牌(和 select 语句)。

    【讨论】:

    • 是的,这行得通。谢谢。我想知道存储面包屑标记列表的最佳方式是什么。
    • 我认为 LinkedList 会是一个不错的选择。它是双重链接的,因此您可以向前和向后遍历。
    【解决方案3】:

    我一直在获取令牌 - 这与 RequestId 是一样的吗?

    我正在使用的 PHP SimpleDB 库似乎没有返回它。 http://sourceforge.net/projects/php-sdb/

    找到这个文档 http://docs.amazonwebservices.com/AmazonSimpleDB/2009-04-15/DeveloperGuide/index.html?SDB_API_Select.html

    这似乎表明有一个 nextToken 元素,但在示例响应中,它显示了 RequestId...

    想通了——我们的 PHP 库确实将 nexttoken 从我们可以访问的地方抽象出来。钻进图书馆,找到了。

    【讨论】:

      【解决方案4】:

      我已经使用官方 SimpleDB API 创建了上述示例的 Java 版本,也许这对任何人都有用。

      private static Set<String> getSdbAttributes(AmazonSimpleDBClient client,
                  String domainName, int sampleSize) {
              if (!client.listDomains().getDomainNames().contains(domainName)) {
              throw new IllegalArgumentException("SimpleDB domain '" + domainName
                      + "' not accessible from given client instance");
          }
      
          int domainCount = client.domainMetadata(
                  new DomainMetadataRequest(domainName)).getItemCount();
          if (domainCount < sampleSize) {
              throw new IllegalArgumentException("SimpleDB domain '" + domainName
                      + "' does not have enough entries for accurate sampling.");
          }
      
          int avgSkipCount = domainCount / sampleSize;
          int processedCount = 0;
          String nextToken = null;
          Set<String> attributeNames = new HashSet<String>();
          Random r = new Random();
          do {
              int nextSkipCount = r.nextInt(avgSkipCount * 2) + 1;
      
              SelectResult countResponse = client.select(new SelectRequest(
                      "select count(*) from `" + domainName + "` limit "
                              + nextSkipCount).withNextToken(nextToken));
      
              nextToken = countResponse.getNextToken();
      
              processedCount += Integer.parseInt(countResponse.getItems().get(0)
                      .getAttributes().get(0).getValue());
      
              SelectResult getResponse = client.select(new SelectRequest(
                      "select * from `" + domainName + "` limit 1")
                      .withNextToken(nextToken));
      
              nextToken = getResponse.getNextToken();
      
              processedCount++;
      
              if (getResponse.getItems().size() > 0) {
                  for (Attribute a : getResponse.getItems().get(0)
                          .getAttributes()) {
                      attributeNames.add(a.getName());
                  }
              }
          } while (domainCount > processedCount);
          return attributeNames;
      }
      

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2019-02-03
        • 2012-11-10
        • 1970-01-01
        • 2011-06-17
        • 2018-03-04
        • 2013-06-16
        • 1970-01-01
        • 2022-11-10
        相关资源
        最近更新 更多