【问题标题】:Python : How to check if a given site is accessible through a proxy network?Python:如何检查给定站点是否可以通过代理网络访问?
【发布时间】:2016-08-08 16:19:47
【问题描述】:

如果我们的网络有代理,那么某些网站将无法打开。 我想反复检查,通过我们的网络可以访问多少个站点。

【问题讨论】:

  • 您可以使用this 获取网页列表,这样您就不会用尽想法。我推荐requests,这是一个非常好的网络资料库。

标签: python python-3.x url


【解决方案1】:

找出Proxy Block页面的源代码是什么。

使用urllibBeautifulSoup 尝试抓取页面并解析页面的源代码,看看您是否可以找到可以告诉您该网站是否可以访问的独特内容。

例如,在我的办公室,当一个页面被我们的代理阻止时,源代码的标题标签是<title>Network Error</title>。诸如此类的东西可能是您的标识符。

只是一个快速的想法。

因此,例如,您可以在列表中测试 URL,并在循环中遍历列表并尝试抓取每个站点。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-10-23
    • 1970-01-01
    • 2018-10-30
    • 1970-01-01
    • 1970-01-01
    • 2011-11-19
    • 1970-01-01
    相关资源
    最近更新 更多