【发布时间】:2016-08-08 16:19:47
【问题描述】:
如果我们的网络有代理,那么某些网站将无法打开。 我想反复检查,通过我们的网络可以访问多少个站点。
【问题讨论】:
标签: python python-3.x url
如果我们的网络有代理,那么某些网站将无法打开。 我想反复检查,通过我们的网络可以访问多少个站点。
【问题讨论】:
标签: python python-3.x url
找出Proxy Block页面的源代码是什么。
使用urllib 和BeautifulSoup 尝试抓取页面并解析页面的源代码,看看您是否可以找到可以告诉您该网站是否可以访问的独特内容。
例如,在我的办公室,当一个页面被我们的代理阻止时,源代码的标题标签是<title>Network Error</title>。诸如此类的东西可能是您的标识符。
只是一个快速的想法。
因此,例如,您可以在列表中测试 URL,并在循环中遍历列表并尝试抓取每个站点。
【讨论】: