【问题标题】:SpringBatch(JdbcPagingItemReader) does not fetch all rowsSpring Batch(JdbcPagingItemReader)不获取所有行
【发布时间】:2019-03-20 00:47:47
【问题描述】:

我有一个 springbatch 应用程序,但无法使用 JdbcPagingItemReader 获取所有行。

总行数:

select count(*) from web_view;

结果为 12057 行。

datasource.chunk.size=500
@Bean
public PagingQueryProvider pagingQueryProvider() {
    SqlServerPagingQueryProvider sqlServerPagingQueryProvider = new SqlServerPagingQueryProvider();
    Map<String, Order> sortKey = new HashMap<>();
    sortKey.put("type", Order.ASCENDING);
    sqlServerPagingQueryProvider.setSelectClause("select *");
    sqlServerPagingQueryProvider.setFromClause("from web_view");
    sqlServerPagingQueryProvider.setSortKeys(sortKey);
    return sqlServerPagingQueryProvider;
}

@Bean
public JdbcPagingItemReader<Web> jdbcPagingItemReader() throws Exception {
    return new JdbcPagingItemReaderBuilder<Web>()
            .name("jdbcPagingItemReader")
            .dataSource(dataSource())
            .queryProvider(pagingQueryProvider())
            .rowMapper(new BeanPropertyRowMapper<>(Web.class))
            .pageSize(chunkSize)
            .saveState(true)
            .build();
}

@Bean
public Job importUserJob(JobCompletionNotificationListener jobCompletionNotificationListener, Step step1) {
    return jobBuilderFactory.get("migrateWebJob")
            .incrementer(new RunIdIncrementer())
            .listener(jobCompletionNotificationListener)
            .flow(step1)
            .end()
            .build();
}
@Bean
public Step step1() throws Exception {
    return stepBuilderFactory.get("step1")
            .<Web, WebStore>chunk(chunkSize)
            .reader(jdbcPagingItemReader())
            .processor(webStoreItemProcessor())
            .writer(eventHubItemWriter())
            .build();
}

它在第三次分页后优雅地停止,仅处理 12057 行中的 1500 行。

【问题讨论】:

  • 我看不出你的配置有什么问题。作业不应在第三页之后停止。步骤/作业的退出状态是什么?您可以启用调试并查看是否存在(可能被静默忽略的)异常吗?
  • 如果你放下排序键,它还会停止吗?
  • @MahmoudBenHassine。我启用了调试,但没有看到任何异常。第 3 次分页后的作业显示“20:01:11.872 [main] DEBUG o.s.b.repeat.support.RepeatTemplate - 根据策略和结果值重复完成。20:01:11.872 [main] DEBUG o.s.b.c.s.item.ChunkOrientedTasklet - 输入不忙,结束:真”。
  • @BrianC 。该框架需要一个排序键。没有它,它会抛出异常。
  • @Mahmoud Ben Hassine 。感谢您观看 stackoverflow 上所有与 Spring Batch 相关的查询。感谢您的时间和投入。

标签: sql-server-2012 spring-batch


【解决方案1】:

字段键类型的获取工作。

OraclePagingQueryProvider queryProvider = new OraclePagingQueryProvider();
queryProvider.setSelectClause("*");
queryProvider.setFromClause("from MEMENTO_REQUEST");

Map<String, Order> sortKeys = new HashMap<>(1);

sortKeys.put("PROG_REQUEST_ID", Order.ASCENDING);

如果您对不是 PK 的字段进行排序,则获取比表中的所有记录次要

【讨论】:

    【解决方案2】:

    以下是我找到的解决方法。我使用“类型”的排序键有 3 条不同的记录。我不确定这是否会成为问题。我在视图中添加了一个额外的标识列,并将 (row_num) 添加到解决问题的排序键中。

    经验:

    create or alter view my_view as
    select *, row_number() over (order by (select 1)) row_num
    from (select * from tab1
    union
    select * from tab2
    union
    select * from tab3)x;
    
    @Bean
    public PagingQueryProvider pagingQueryProvider() throws Exception {
        SqlPagingQueryProviderFactoryBean sqlPagingQueryProviderFactoryBean = new SqlPagingQueryProviderFactoryBean();
        Map<String, Order> sortKey = new HashMap<>();
        sortKey.put("row_num", Order.ASCENDING);
        sqlPagingQueryProviderFactoryBean.setDataSource(dataSource());
        sqlPagingQueryProviderFactoryBean.setSelectClause("select *");
        sqlPagingQueryProviderFactoryBean.setFromClause("from dse.zyntrack_web_view");
        sqlPagingQueryProviderFactoryBean.setSortKeys(sortKey);
        return sqlPagingQueryProviderFactoryBean.getObject();
    }
    

    【讨论】:

      【解决方案3】:

      在我的情况下,问题似乎出在 OraclePagingQueryProvider 及其排序设置中。我原来的代码是这样的:

      OraclePagingQueryProvider queryProvider = new OraclePagingQueryProvider();
      
      queryProvider.setSelectClause("id, status");
      queryProvider.setFromClause("cms.cms_card");
      queryProvider.setWhereClause("card_type_id = :cardTypeId");
      queryProvider.setSortKeys(Map.of("status", Order.ASCENDING));
      

      作为解决方案,我只是这样修改了排序子句:

      queryProvider.setSortKeys(Map.of("status", Order.ASCENDING, "id", Order.ASCENDING));
      

      添加 PK 解决了问题,结果的顺序仍然符合预期。

      【讨论】:

        猜你喜欢
        • 2016-05-23
        • 1970-01-01
        • 2019-08-17
        • 2018-03-29
        • 2018-01-25
        • 1970-01-01
        • 2021-09-12
        • 2020-11-03
        • 1970-01-01
        相关资源
        最近更新 更多