如何使用 Spring Boot WebClient 收集分页 API 响应？答案

【问题标题】：How to collect paginated API responses using spring boot WebClient?如何使用 Spring Boot WebClient 收集分页 API 响应？
【发布时间】：2019-04-15 21:45:05
【问题描述】：

我有一个来自 URL 的分页响应，我想继续点击从上一个响应中获得的下一页 URL，并继续收集项目，直到我的响应中没有“nextPage”URL。如何使用来自 WebFlux 的 Spring Boot WebClient 以无阻塞的反应方式实现这一点？

Request1: 

    GET /items
    response: 
    {
        items: [...]
        nextPage: "/items?page=2"
    }


    Request2: 

    GET /items?page=2
    response: 
    {
        items: [...]
        nextPage: "/items?page=3"
    }


    Request3: 

    GET /items?page=3
    response: 
    {
        items: [...]
        nextPage: null
    }

我在这里创建了模拟网址 https://karthikdivi.com/apps/paginatedReviews/withNextPageTokens/items https://karthikdivi.com/apps/paginatedReviews/withNextPageTokens/items?page=2 https://karthikdivi.com/apps/paginatedReviews/withNextPageTokens/items?page=3

如何在不阻塞的情况下以被动的方式从上述响应中提取所有项目？

【问题讨论】：

标签： spring spring-boot reactive-programming spring-webflux project-reactor

【解决方案1】：

使用expand，可以做到这一点。根据您提供的模拟网址。

public Mono<List<Item>> getItems() {
    String url = "https://karthikdivi.com/apps/paginatedReviews/withNextPageTokens/items";

    return fetchItems(url).expand(response -> {
        if (response.getNextPage() == null) {
            return Mono.empty();
        }
        return fetchItems(response.getNextPage());
    }).flatMap(response -> Flux.fromIterable(response.getItems())).collectList();
}

private Mono<Response> fetchItems(String url) {

         return client.get().uri(url).retrieve()
                    .bodyToMono(Response.class);
    }

【讨论】：

返回 Flux<Item> 可能会允许管道在其他请求正在执行时继续下游。调用collectList 将等到整个扩展完成后再完成Mono - 等待我的意思不是“阻塞”，只是管道的其余部分不会继续。
为什么扩展比“简单”的 for 循环更好？
Response 类从何而来？

【解决方案2】：

使用expand可以达到想要的效果：

@Test
public void usingExpand(){

    Request innerData = new Request(null);
    Request middleData = new Request(innerData);
    Request rootData = new Request(middleData);

    Mono.just(rootData)
            .expand( t -> Mono.justOrEmpty(t.nextPage))
            .flatMap( t -> Flux.fromIterable(t.items))
            .subscribe(System.out::println);

}

public static class Request {
    List<String> items = new ArrayList<>();
    Request nextPage;

    public Request(Request nextPage) {
        this.items.add(UUID.randomUUID().toString());
        this.items.add(UUID.randomUUID().toString());
        this.nextPage = nextPage;
    }
}

以上代码应产生以下结果：

dc78317c-5552-4723-90db-5392c67655be
32ff12bb-5be1-415e-b481-dab85d9157dd
cf1e3f36-a8e2-414d-90a2-7708eeedc5be
91a6bc14-a396-483d-a66a-80bb98dc1968
c95adae3-8e6f-489b-8a9d-4cea3080e150
d6f8fe01-2c50-4574-958c-ec675331bb25

每个数据对象有两个 UUID。

【讨论】：