分区作业完成后无法自行停止？春季批次

Question

我编写了一个包含两个步骤的作业，其中两个步骤之一是分区步骤。 分区步骤使用 TaskExecutorPartitionHandler 并在线程中运行 5 个从属步骤。 该作业在 main() 方法中启动。但它并没有在每个奴隶 ItemReader 返回 null 后停止 - 完成符号。即使在程序运行通过 main() 方法中的最后一行代码（即 System.out.println("Finished")）之后，程序进程也不会停止，挂在内存中并且什么也不做。我必须按下 Eclipse 面板上的停止按钮来停止程序。

以下是 JobLauncher.run() 返回的 JobExecution 的内容，表示 Job 运行成功状态..

JobExecution: id=0, version=2, startTime=Fri Nov 27 06:05:23 CST 2015, endTime=Fri Nov 27 06:05:39 CST 2015, lastUpdated=Fri Nov 27 06:05:39 CST 2015, status=COMPLETED, exitStatus=exitCode=COMPLETED;exitDescription=, job=[JobInstance: id=0, version=0, Job=[jobCensoredPages]], jobParameters=[{}]

7217
完成

为什么一个成功运行 Job 的 Spring Batch 程序仍然挂起？ 请指出我在哪里解决。我怀疑 Spring Batch 管理的多线程部分不会停止..

简单的作业运行代码

        Job job = (Job) context.getBean("jobPages");
        try {
            JobParameters p=new JobParametersBuilder()
                .toJobParameters();
            
            JobExecution result = launcher.run(job, new JobParameters());
         
            System.out.println(result.toString());
        } catch (Exception e) {
            e.printStackTrace();
        }
        context.getBean("idSet");
        AtomicInteger n=(AtomicInteger) context.getBean("pageCount");
        System.out.println(n.get());        
        System.out.println("Finished");

Patitioner 和 PatitionHandler 的配置

    @Bean @Autowired 
    public PartitionHandler beanPartitionHandler(
        TaskExecutor beanTaskExecutor, 
        @Qualifier("beanStepSlave") Step beanStepSlave
        ) throws Exception
    {
        TaskExecutorPartitionHandler h=new TaskExecutorPartitionHandler();
        h.setGridSize(5);
        h.setTaskExecutor(beanTaskExecutor);
        h.setStep(beanStepSlave);   
        h.afterPropertiesSet(); 
        return h;
    }
    @Bean public TaskExecutor beanTaskExecutor() {
        ThreadPoolTaskExecutor e = new ThreadPoolTaskExecutor();
        e.setMaxPoolSize(5);
        e.setCorePoolSize(5);
        e.afterPropertiesSet();
        return e;
    }

唯一的步骤，它是从属步骤

@Bean public Step beanStepMaster(
        Step beanStepSlave,
        Partitioner beanPartitioner,
        PartitionHandler beanPartitionHandler
        )   throws Exception 
    {
        return stepBuilderFactory().get("stepMaster")
        .partitioner(beanStepSlave)
        .partitioner("stepSlave", beanPartitioner)
        .partitionHandler(partitionHandler)
        .build();
    }
    @Bean @Autowired 
    public Step beanStepSlave(
        ItemReader<String> beanReaderTest,
        ItemProcessor<String, String> beanProcessorTest,
        ItemWriter<String> beanWriterTest) throws Exception{
        return stepBuilderFactory().get("stepSlave")
            .<String, String>chunk(1)
            .reader(beanReaderTest)
            .processor(beanProcessorTest)
            .writer(beanWriterTest)
            .build();
    }

我的 pom.xml 文件

<dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>RELEASE</version>
      <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-core</artifactId>
        <version>4.2.3.RELEASE</version>
    </dependency>
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-context</artifactId>
        <version>4.2.3.RELEASE</version>
    </dependency>
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-tx</artifactId>
        <version>4.2.3.RELEASE</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.batch</groupId>
        <artifactId>spring-batch-core</artifactId>
        <version>RELEASE</version>      
    </dependency>
    <dependency>
        <groupId>org.springframework.retry</groupId>
        <artifactId>spring-retry</artifactId>
        <version>1.1.2.RELEASE</version>
    </dependency>
    
<dependency>    
    <groupId>org.springframework</groupId>
    <artifactId>spring-beans</artifactId>
    <version>RELEASE</version>
</dependency>

Answer 1

当我使用 ThreadPoolTask​​Executor 时，我的分区 Spring 批处理应用程序在完成时挂起也遇到了困难。另外，我看到执行器不允许所有分区的工作完成。

我找到了两种解决这些问题的方法。

第一个解决方案是使用 SimpleAsyncTaskExecutor 而不是 ThreadPoolTask​​Executor。如果您不介意重新创建线程的额外开销，这是一个简单的解决方法。

第二种解决方案是在 ThreadPoolTask​​Executor 上创建一个调用 shutdown 的 JobExecutionListener。

我这样创建了一个 JobExecutionListener：

@Bean
public JobExecutionListener jobExecutionListener(ThreadPoolTaskExecutor executor) {
    return new JobExecutionListener() {
        private ThreadPoolTaskExecutor taskExecutor = executor;
        @Override
        public void beforeJob(JobExecution jobExecution) {

        }

        @Override
        public void afterJob(JobExecution jobExecution) {
            taskExecutor.shutdown();
        }
    };
}

并将其添加到我的作业定义中，如下所示：

@Bean
public Job partitionedJob(){
    return jobBuilders.get("partitionedJob")
            .listener(jobExecutionListener(taskExecutor()))
            .start(partitionedStep())
            .build();
}

Answer 2

以上所有答案都是hack/workaround。 问题中发布的问题的根本原因是 threadPoolTask​​Executor 不共享步骤的生命周期。因此，在销毁步骤/作业上下文时，线程池不会自动销毁，它会永远运行。 将 threadPoolExecutor 带入 stepContext "@StepScope" 应该可以解决问题。春天负责摧毁它。

@Bean @StepScope public ThreadPoolTaskExecutor threadPoolTaskExecutor() {

Answer 3

您的问题有两种解决方案，虽然我不知道原因。

首先，您可以使用CommandLineJobRunner 来启动Job。请参阅文档here。此类在作业结束时自动退出程序并将 ExitStatus 转换为返回码（COMPLETED = 0、FAILED = 1...）。默认返回码由SimpleJvmExitCodeMapper 提供。

第二种解决方案是在您的JobLauncher.run() 之后手动调用System.exit() 指令。您也可以手动转换Job 的ExitStatus 并在手动退出时使用它：

// Create Job
JobLauncher jobLauncher = (JobLauncher) context.getBean("jobLauncher");
Job job = (Job) context.getBean(jobName);

// Create return codes mapper
SimpleJvmExitCodeMapper mapper = new SimpleJvmExitCodeMapper();

// Start Job
JobExecution execution = jobLauncher.run(job, new JobParameters());

// Close context
context.close();

// Map codes and exit
String status = execution.getExitStatus().getExitCode();
Integer returnCode = mapper.intValue(status);
System.exit(returnCode);