【问题标题】:Slow wget speeds when connecting to https pages连接到 https 页面时 wget 速度慢
【发布时间】:2010-09-10 18:43:05
【问题描述】:

我正在使用 wget 连接到这样的安全站点:

wget -nc -i inputFile

其中 inputeFile 由如下 URL 组成:

@987654321@

此页面返回一个小 gif 文件。出于某种原因,这大约需要 2.5 分钟。当我将相同的 URL 粘贴到浏览器中时,我会在几秒钟内得到响应。

有人知道是什么原因造成的吗?

顺便说一句,wget的版本是“GNU Wget 1.9+cvs-stable(Red Hat修改)”

【问题讨论】:

    标签: wget


    【解决方案1】:

    一个有效的解决方案是删除https:\\。 这将我的下载速度提高了大约 100 倍。

    例如,您想通过以下方式下载:

    wget https://data.keithito.com/data/speech/LJSpeech-1.1.tar.bz2
    

    您可以交替使用以下命令来加速。

    wget data.keithito.com/data/speech/LJSpeech-1.1.tar.bz2
    

    【讨论】:

      【解决方案2】:

      我知道这是一岁了,但这个确切的问题困扰了我们好几天。 原来它是我们的 DNS 服务器,但我通过我的盒子上的disabling IP6 绕过它。

      您可以通过在命令末尾添加“--inet4-only”(不带引号)在进行系统更改之前对其进行测试。

      【讨论】:

        【解决方案3】:

        您是否尝试过使用 strace/dtrace/truss 分析请求(取决于您的平台)?

        有各种各样的问题可能会导致这种情况。 wget 正在使用什么版本的 openssl - 那里可能存在问题。这是在什么操作系统上运行的(完整的信息在那里很有用)。

        由于站点上实施的 wget 传递代理 ID 以减少蜘蛛的影响,因此可能会强制执行某种形式的下载减速。

        wget 是否执行完整的证书验证?您是否尝试过使用 --no-check-certificate?

        【讨论】:

          【解决方案4】:

          客户站点上的证书是否有效?如果它是自签名证书,您可能需要指定 --no-certificate-check。

          HTTPS (SSL/TLS) Options for wget

          【讨论】:

            【解决方案5】:
            1. 尝试伪造你的 UserAgent

              -U "Mozilla/5.0 (X11; U; Linux i686 (x86_64); en-GB; rv:1.9.0.1) Gecko/2008070206 Firefox/3.0.1" 
              
            2. 禁用证书检查(慢)

              --no-check-certificate
              
            3. 通过启用详细程度来调试正在发生的事情

              -v
              
            4. 消除对 DNS 查找的需求:

              在您的 HOSTS 文件中硬编码他们的 IP 地址

              /etc/hosts 
              123.122.121.120  foo.bar.com
              

            【讨论】:

            • 在这种情况下,使用主机文件似乎有点矫枉过正,因为发布者说浏览器会立即加载 url。尽管如此,如果发布者遇到问题,这是另一种可能的解决方案。
            • 浏览器有缓存 DNS 的习惯 :)
            • 就我而言,它适用于--no-check-certificate。谢谢!
            猜你喜欢
            • 2016-03-11
            • 1970-01-01
            • 1970-01-01
            • 2012-11-11
            • 1970-01-01
            • 2013-01-13
            • 2015-04-07
            • 1970-01-01
            相关资源
            最近更新 更多