如何跳过jq输入中的前n个对象

Question

我有一个非常大的对象流，我正在尝试将其导入 MongoDB。在大约 10k 个对象之后，我不断得到一个损坏的管道，所以我希望能够更新我的导入脚本以跳过已经导入的对象并从第一个丢失的对象开始。

在我看来，用于此的工具将是 jq。我需要的是一种在第 n 号之前跳过（留空）所有项目，然后按原样输出其余项目的方法。

我尝试使用 foreach 来维护一个对象计数器，但对于我的小测试样本中的所有对象（在此处使用 bash 文档），我一直以 1 作为计数器的值：

$ jq 'foreach . as $item (0; (.+1); [ . , if . < 2 then empty else $item end ])' <<"end"
> { "item": "first" }
> { "item": "second" }
> { "item": "third" }
> { "item": "fourth" }
> end

由此产生的输出是：

[
  1
]
[
  1
]
[
  1
]
[
  1
]

欢迎提出任何建议。

Answer 1

def skip(n; stream):
  foreach stream as $s (0; .+1; select(. > n) | $s);

例子：

skip(1000; inputs)

（使用inputs 和/或input 时，不要忘记您可能需要使用-n 命令行选项。）

大锤法

try (range(0; 1000) | input | empty), inputs

在这种情况下，try 是必要的，以避免在少于请求的项目数时出现错误。