【发布时间】:2019-03-20 00:47:47
【问题描述】:
我有一个 springbatch 应用程序,但无法使用 JdbcPagingItemReader 获取所有行。
总行数:
select count(*) from web_view;
结果为 12057 行。
datasource.chunk.size=500
@Bean
public PagingQueryProvider pagingQueryProvider() {
SqlServerPagingQueryProvider sqlServerPagingQueryProvider = new SqlServerPagingQueryProvider();
Map<String, Order> sortKey = new HashMap<>();
sortKey.put("type", Order.ASCENDING);
sqlServerPagingQueryProvider.setSelectClause("select *");
sqlServerPagingQueryProvider.setFromClause("from web_view");
sqlServerPagingQueryProvider.setSortKeys(sortKey);
return sqlServerPagingQueryProvider;
}
@Bean
public JdbcPagingItemReader<Web> jdbcPagingItemReader() throws Exception {
return new JdbcPagingItemReaderBuilder<Web>()
.name("jdbcPagingItemReader")
.dataSource(dataSource())
.queryProvider(pagingQueryProvider())
.rowMapper(new BeanPropertyRowMapper<>(Web.class))
.pageSize(chunkSize)
.saveState(true)
.build();
}
@Bean
public Job importUserJob(JobCompletionNotificationListener jobCompletionNotificationListener, Step step1) {
return jobBuilderFactory.get("migrateWebJob")
.incrementer(new RunIdIncrementer())
.listener(jobCompletionNotificationListener)
.flow(step1)
.end()
.build();
}
@Bean
public Step step1() throws Exception {
return stepBuilderFactory.get("step1")
.<Web, WebStore>chunk(chunkSize)
.reader(jdbcPagingItemReader())
.processor(webStoreItemProcessor())
.writer(eventHubItemWriter())
.build();
}
它在第三次分页后优雅地停止,仅处理 12057 行中的 1500 行。
【问题讨论】:
-
我看不出你的配置有什么问题。作业不应在第三页之后停止。步骤/作业的退出状态是什么?您可以启用调试并查看是否存在(可能被静默忽略的)异常吗?
-
如果你放下排序键,它还会停止吗?
-
@MahmoudBenHassine。我启用了调试,但没有看到任何异常。第 3 次分页后的作业显示“20:01:11.872 [main] DEBUG o.s.b.repeat.support.RepeatTemplate - 根据策略和结果值重复完成。20:01:11.872 [main] DEBUG o.s.b.c.s.item.ChunkOrientedTasklet - 输入不忙,结束:真”。
-
@BrianC 。该框架需要一个排序键。没有它,它会抛出异常。
-
@Mahmoud Ben Hassine 。感谢您观看 stackoverflow 上所有与 Spring Batch 相关的查询。感谢您的时间和投入。
标签: sql-server-2012 spring-batch