Linux从标准输入读取的两个进程（osmosis osm）答案

【问题标题】：Linux two processes to read from standard input (osmosis osm)Linux从标准输入读取的两个进程（osmosis osm）
【发布时间】：2019-08-22 01:15:08
【问题描述】：

我需要解压缩一个非常大的文件 (100GB+) 并让它由两个并行线程处理。问题是我想使用 STDIN/STDOUT 同时向两个线程提供未压缩的内容

bzip2 north-america-latest.osm.bz2 |  \
osmosis --read-xml file=- \ # get first thread
--tf accept-ways highway=motorway
outPipe.0=motorway \
--fast-read-xml file=- # here another thread
--tf accept-nodes place=\*
outPipe.0=places \
--merge inPipe.0=motorway inPipe.1=places

语法可能不那么透明，但想法是两个线程都从相同的标准输入中读取并基本上互相窃取数据。

不知何故，我需要让每个线程都有自己的 STDIN（或另一个临时内存流），并在它们之间拆分 bzip2 的输出。

【问题讨论】：

如果您担心速度，请尝试查看osmium-tool。
最终的解决方案是放弃 osmosis 工具，因为它是用 Java 编写的（因此很慢），并改用 osmconvert/osmfilter 工具的组合。这两个工具都是用 c++ 编写的，性能比 osmosis 好 10 倍左右。特别是 osmconvert 可以进行边界框过滤，而 osmfilter 可以帮助从 osm 数据流中挑选元素。 Osm 过滤器不容易配置，文档可以用更多示例编写，但是一旦配置正确，它就可以很好地工作。

标签： linux openstreetmap stdin osmosis

【解决方案1】：

您可以使用 tee 将输出拆分到多个进程

bzip2 north-america-latest.osm.bz2 | tee >(command1) | command2

您可以拥有任意数量的命令。

bzip2 north-america-latest.osm.bz2 | tee >(command1) >(command2) >(command3) | command4

管道后面的命令是可选的。如果省略，它将继续转到标准输出。

【讨论】：

事情没那么简单。它应该是一个可以有两个假标准输入的命令。我可能会删除这个问题，因为我从这个 Open Street Map 工具的开发人员那里找到了反馈，他们说这是不可能的。解决方案是首先使用预处理数据创建一个较小的未压缩文件，然后让每个进程直接读取它。他们可以读取同一个文件，但不能共享标准输入。