NUTCH 可以用来从电子商务网站获取数据吗？

Question

我想从网站获取数据。 示例我想要来自 ebay 的不同商品的价格。 我想将这些产品及其价格存储在我的数据库中。 NUTCH 在这里有用吗？ 如果不是，那么我应该更喜欢什么刮刀/爬行？

Answer 1

Nutch 所做的是抓取一些网站并将其网页编入索引。

您需要的是一个刮板，它用于从某些网页中提取特定信息。我不知道有哪些工具可用于抓取，但使用 Perl 或 Python 等脚本语言编写自己的工具应该很容易。

但是，如果您想使用 Nutch 进行抓取，您可以构建自己的插件来提取额外的数据。您可以在此链接上找到有关插件的更多信息：https://wiki.apache.org/nutch/PluginCentral。

您应该注意到，抓取并不总是合法的，一些网站明确禁止从其页面自动下载任何内容，您应该在尝试抓取之前检查该网站的使用条款。

Answer 2

试试 scrapy，它是一个非常强大且有据可查的抓取框架。 经验丰富的程序员需要几个小时才能抓取电子商务数据。