使用 Runtime.exec() 生成的进程的高效执行和输出流重定向答案

【问题标题】：Efficient execution and output stream redirection of process spawned with Runtime.exec()使用 Runtime.exec() 生成的进程的高效执行和输出流重定向
【发布时间】：2013-11-08 10:57:08
【问题描述】：

我有一个脚本可以多次执行一个程序，产生大约 350 行输出到 STDERR 和 STDOUT。现在，我需要用 Java 执行脚本，从而将输出流打印到它们的原始目的地。因此，基本上，我从 Java 类内部执行脚本，为用户保持原始行为。

我这样做的方式是从 Reading streams from java Runtime.exec 之类的建议中获得灵感的，并且在功能上运行良好。

Process p = Runtime.getRuntime().exec(cmdarray);
new Thread(new ProcessInputStreamHandler(p.getInputStream(), System.out)).start();
new Thread(new ProcessInputStreamHandler(p.getErrorStream(), System.err)).start();
return p.waitFor();

还有班级ProcessInputStreamHandler：

class ProcessInputStreamHandler implements Runnable {
    private BufferedReader in_reader;
    private PrintStream out_stream;

    public ProcessInputStreamHandler(final InputStream in_stream, final PrintStream out_stream) {
        this.in_reader  = new BufferedReader(new InputStreamReader(in_stream));
        this.out_stream = out_stream;
    }

    @Override public void run() {
        String line;
        try {
            while ((line = in_reader.readLine()) != null) {
                out_stream.println(line);
            }
        } catch (Exception e) {throw new Error(e);}

        out_stream.flush();
    }
}

现在关于我的问题陈述：虽然脚本的执行大约需要 17 秒，但“封装”执行至少需要 21 秒。我在哪里失去了这 4 秒或更长时间？

我已经尝试使用ProcessBuilder 将STDERR 重定向到STDOUT，使用带有https://github.com/axiak/java_posix_spawn 之类的库的POSIX vfork，使用字节缓冲区而不是BufferedReader...一切都没有积极的结果。

有什么建议吗？我知道会有一些性能损失，但 4 秒对我来说似乎有点多...

感谢任何建议！

提前致以最诚挚的问候和感谢。

【问题讨论】：

我敢说 4 秒将是 JVM 预热时间：例如加载jvm可执行文件到内存，加载标准库，加载类等
我猜这是您使用线程引入的额外调度可能会减慢您的速度。您是否尝试将脚本写入文件而不是 STDERR 和 STDOUT？然后，您可以在没有 ProcessInputStreamHandler 对象的情况下运行 Java 脚本包装器，以检查这是否仍需要额外的 4 秒。如果是这种情况，非阻塞 I/O (nio) 可能会对您有所帮助。

标签： java multithreading performance stream runtime.exec

【解决方案1】：

不知道它是否会提高性能，但您可以尝试NuProcess 库，它同时还提供非阻塞（异步）I/O，还将在 Linux 上使用 vfork，这确实减少了进程启动时间（和内存开销）相当多。

【讨论】：

【解决方案2】：

完成任务的最快方法是使用 Java 7 和

return new ProcessBuilder(cmdarray).inheritIO().start().waitFor();

如果这没有帮助，我认为您无能为力，因为所有其他方法都会向您的运行时环境添加更多需要处理的代码。

【讨论】：

不错的单行代码，清理代码当然很好。不幸的是，我的测试表明它没有提供任何性能优势......
重要的一点是inheritIO()，因为它不需要您为输出重定向执行任何Java代码，而是让操作系统来处理。如果这个特性没有提升性能，那么性能问题的原因根本不在于这段代码。
延迟可能源于将“外部”程序加载到 JVM 中。我做了进一步的测量来支持这个观点。感谢所有建议和 Java 7 提示，这对我来说是新的。