抓取和抓取特别具有挑战性的网站？ [关闭]答案

【问题标题】：Websites that are particularly challenging to crawl and scrape? [closed]抓取和抓取特别具有挑战性的网站？ [关闭]
【发布时间】：2013-09-16 17:25:11
【问题描述】：

我对具有以下内容的面向公众的网站（无需登录/身份验证）感兴趣：

我已经构建了一个爬虫/蜘蛛，可以在网站上执行一系列分析，我正在寻找会使其陷入困境的网站。

【问题讨论】：

您是否在寻找具有挑战性的网站列表或抓取具有挑战性的网站的技术？我不确定这里的查询是什么。
我在寻找具有挑战性的网站列表。为了给你一些背景知识，我已经构建了一个爬虫/蜘蛛，它可以在网站上执行一系列分析，我正在寻找可以让它陷入困境的网站。
啊，对。我想说这可能是题外话，因为它是对外部资源的请求；但是，由于这是一个有趣的问题，我不会投票结束。不过，我应该有兴趣看看会发生什么，因为我自己也在做一个爬虫项目。
在this question 中找到this site。这应该是一个有趣的分析：在 POST 操作中呈现的 JavaScript 链接和页面。
尝试从航空公司网站上获取一些当前价格？从我所在的地区想到的一些是亚航和捷星。他们没有任何必需的身份验证/登录，但确实使用 AJAX。过去我使用过 Selenium WebDriver，但它仍然具有挑战性。

【解决方案1】：

这里有一些：

通过 AJAX 以 onclicks 或无限滚动的形式加载的内容
- pinterest
- comments in such a page
  这是一个中文商品页面，它的 cmets 是通过 AJAX 加载的，它是通过在浏览器中向下滚动滚动条或根据浏览器的高度触发的。我必须使用 PhantomJS 和 xvfb 来触发此类操作。
反爬虫措施（但不是通过 robots.txt 禁止爬虫）
- amazon next page
  我在中国爬过亚马逊网站，当我想在这些页面中爬下一页页面时，它可能修改请求导致您无法获取真正的下一页页面
- stackoverflow
  它有访问频率的限制。前几天想把stackoverflow里所有的tag都弄出来，把蜘蛛的访问频率设置为10，结果被stackoverflow警告了……这里是screen shot。之后我必须使用代理来抓取stackoverflow。
以及其他通常使抓取网站令人头疼的事情
- yihaodian
  这是一个中国电子商务网站，当您在浏览器中访问它时，它会显示您的位置，并会根据您的位置提供一些商品。
- 等
  有许多类似上述的网站会根据您的位置提供不同的内容。当您抓取此类网站时，您获得的与您在浏览器中看到的不同。通过爬虫发出请求时，通常需要设置 cookie。

去年我遇到了一个网站，它在发出请求时需要 http 请求标头 和 一些 cookie，但我不记得那个网站了....

【讨论】：