使用 urllib 确定网站是否无响应是否安全？答案

【问题标题】：Is it safe to use urllib to determine if a site is unresponsive?使用 urllib 确定网站是否无响应是否安全？
【发布时间】：2020-12-02 16:17:03
【问题描述】：

我被分配了一项任务，即列出 25,000 个网站并删除那些停止/无响应的网站。我想出了最简单的方法：

with website in websites:
    try:
        req = Request(test, headers={"User-Agent": "Mozilla/5.0 (Linux i686)"})
        with contextlib.closing(urlopen(req)) as response:
            new_list.add(response.geturl())   
    except:
        print(website + " removed")

这有多安全？该列表包含许多垃圾邮件站点，我认为将我的 IP 地址发送给它们不是一个好主意。

有没有更安全的选择？

【问题讨论】：

这有多安全？，你说的安全是什么意思？
如果您不想暴露您的 IP 地址，请不要连接。您可以使用 VPN 隐藏您的直接 IP 地址，但某些网站会检测到这一点并拒绝您的连接，或者显示与您原本看到的不同的内容。
@MauriceMeyer 使用 urllib 打开 25k 随机站点时有什么需要担心的吗？
@tripleee 谢谢。我并不真正关心返回的内容，只需要知道网站是否响应。我以前没用过vpn。我是否只需下载和设置类似 nordVPN 的东西，还是需要使用 urllib 库进行配置。

标签： python web-scraping urllib

【解决方案1】：

如果您担心泄露您的 IP 地址，我建议您使用代理服务器来请求这些站点。您可以在网络上的某些网站上免费获得代理。您也可以使用 vpn 来运行脚本。

这里是关于代理处理的 urllib 文档

https://docs.python.org/3/library/urllib.request.html#urllib.request.ProxyHandler

【讨论】：