使用 import.io 进行批量提取时防止 URL 跳过

【问题标题】：Prevent URL skipping when Bulk extracting with import.io使用 import.io 进行批量提取时防止 URL 跳过
【发布时间】：2015-07-07 08:01:48
【问题描述】：

所以，很长一段时间以来，我一直在使用 import.io 桌面应用程序提取大量数据；但一直困扰我的是，当您尝试批量提取多个 URL 时，它总是会跳过其中的一半左右。

这不是 URL 问题，如果您采用相同的假设，假设 15 个 URL，它将返回例如第一次 8、第二次 7、第三次 9；有些链接第一次会被提取，但第二次会被跳过，依此类推。

我想知道有没有办法让它处理我提供给它的所有 URL？

【问题讨论】：

标签： import.io

【解决方案1】：

我在提取数据时遇到过几次这个问题。这通常是由于批量提取从网站服务器请求 URL 的速度。

一种解决方法是使用像提取器这样的爬虫。您可以将您创建/收集的 URL 粘贴到“从哪里开始”、“在哪里抓取”和“从哪里获取数据”部分（您需要点击“抓取工具”中的高级设置按钮）。

确保开启 0 深度抓取。（这会将 Crawler 变成 Extractor；即不会发现其他 URL）

增加页面之间的停顿。

【讨论】：