【问题标题】:How to create dynamic steps in Spring Batch如何在 Spring Batch 中创建动态步骤
【发布时间】:2019-02-24 16:20:03
【问题描述】:

我需要创建“N”个步骤,具体取决于从数据库接收到的“maxHierLevel”值并按顺序执行它们 -

int maxHierLevel = testService.getHighestLevel(); 

Step masterCalculationStep = stepBuilderFactory.get("CALCUL_STEP_1")
        .<Map<Long, List<CostCalculation>>, List<TempCostCalc>>chunk(1)
        .reader(reader)
        .processor(processor)
        .writer(writer)
        .build();

final Step[] stepsArray = new Step[maxHierLevel];

for (int i = 0; i < stepsArray.length; i++) {
    stepsArray [i] = stepBuilderFactory.get("processingRecordsInLevel_"+i)
            .partitioner("partitionningSlavStep_"+i , calculationPartioner(i))
            .step(masterCalculationStep)
            .listener(new StepResultListener())
            .taskExecutor(taskExecutor)
            .build();
}

return jobBuilderFactory.get("mainCalculationJob")
                .incrementer(new RunIdIncrementer())
                .flow(truncTableTaskletStep())
                .next(loadPlantList)
                .next(stepsArray[0]) 
                .next(stepsArray[1])
                .next(stepsArray[2])
                .end()
                .listener(listener)
                .build();

我们可以动态添加像 next(stepsArray[0]) 这样的步骤并返回作业 ref 吗?

【问题讨论】:

    标签: spring spring-batch


    【解决方案1】:

    是的,您可以动态创建步骤并返回作业参考。下面是一个示例,说明如何在您的情况下做到这一点:

    @Bean
    public Job job() {
        Step[] stepsArray = // create your steps array or pass it as a parameter
        SimpleJobBuilder jobBuilder = jobBuilderFactory.get("mainCalculationJob")
                .incrementer(new RunIdIncrementer())
                .start(truncTableTaskletStep());
        for (Step step : stepsArray) {
            jobBuilder.next(step);
        }
        return jobBuilder.build();
    }
    

    希望这会有所帮助。

    【讨论】:

    • 您知道如何使这些步骤具有上下文意识吗?这样他们就可以使用 @BeforeStep 注释?
    • @MahmoudBenHassine 感谢您提供了将步骤动态添加到批处理作业的解决方案,我有额外的用例并行运行它们,任何输入都将不胜感激?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-08-30
    • 2023-02-10
    • 1970-01-01
    • 2019-12-11
    • 2019-12-17
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多