如何从网站收集联系信息？

Question

有人知道用于从网站收集联系方式的网络爬虫工具吗？假设我有一个 www.website/contact.. 我想提取地址、电话号码等。我一直在研究 2 个工具：用于 java 的 cralwer4j 开源 jar 和 Python 中的 Scrapy 开源。但我发现它有点难以用于我的场景。

任何建议都会很棒。谢谢

Answer 1

您可以在 Google 上搜索“simple web crawler”来找到最适合您的解决方案。在网上有很多基于“纯python”的网络爬虫。基于 sceleton 代码，您添加 db wrap up。我认为最大的问题是数据库设置和保存数据。

如果有 1000000 个网站要抓取怎么办.. 有没有办法抓取我的所有网站？

脚本没有问题。只需将数百万个地址放入一个文件（或多个文件）中，打开它以在 python 或其他脚本中读取。然后从中获取一个链接一个链接，并根据您的喜好进行抓取/抓取。结果您可能还想保存在文件（csv、json）中。

我还向您推荐一个现成的simple python crawler。