tidhttp 获取程序在某些 url 上不起作用

Question

我在 delphi Tidhttp 组件中遇到问题，其中 GET 过程无法获取特定的 url，但在其他 url 上它正在工作。示例：此代码返回一个空的 response.datastring。 Response.datastring 仅在此 error_url 时为空，但对于其他 url，response.datastring 具有值。我需要获取那个 error_url 的内容来解决这个问题。

procedure TForm1.Button1Click(Sender: TObject);
var
  Response : TStringStream;
  error_url: string;
begin
  error_url := 'http://www.chefscatalog.com/international/home.aspx'; //error url
  Response := TStringStream.Create;
  try
    IdHTTP1.Get(error_url, Response);
    Memo1.Text := Response.DataString;
  finally
    FreeAndNil(Response);
  end;
end;

顺便说一下，idHTTP1 重定向属性在这里设置为 true，所以重定向不是问题。

这是我遇到的异常： 1. http/1.1 302 找到 2. EDecompressionError 带有消息'ZLib Error (-3)'

您可以在此链接http://www.yourfilelink.com/get.php?fid=534933下载该项目的源代码（即indytest.zip）

请帮帮我。在此先感谢:)

Answer 1

原因是您尝试访问的网站正在寻找一个 cookie，如果没有设置它，它会尝试设置它，然后执行 302 重定向回它自己。

由于您没有连接 cookie 管理器，您最终会进入 302 重定向循环，因为该站点会不断检查 cookie、设置然后重定向。

处理 cookie，它只需要一个 302 就可以正常工作。

---

然而，出于某种原因，Indy 似乎忽略了本网站发送的 cookie。如果我点击http://www.google.com，我会生成一些测试代码，我得到了

New cookie: PREF
New cookie: NID
Redirecting (1) to: http://www.google.co.nz/
New cookie: PREF
New cookie: NID

这是谷歌发送的标题

Set-Cookie: PREF=ID=3c7e441914b902ae:TM=1268686477:LM=1268686477:S=Z-Gwqx52jK0V1rYR; expires=Wed, 14-Mar-2012 20:54:37 GMT; path=/; domain=.google.com
Set-Cookie: NID=32=vsOZvkr4AOZ7320d_OBPf2zR2jau4E6pupbOe_ZaaX4DNjahTzSV-mSA55naTk-5cXQcn7SNEp7uSxbE_cFrL9ZftGApTGZMPGKzcz3_NZE_2MYpWG5PGbwWFw9t2d_R; expires=Tue, 14-Sep-2010 20:54:37 GMT; path=/; domain=.google.com; HttpOnly

但是对于那个其他站点，我在调试输出中得到了这个

Redirecting (1) to: http://www.chefscatalog.com/error.aspx?impsid=0
Redirecting (2) to: http://www.chefscatalog.com/error.aspx?impsid=0

一直到 15 次尝试.. 如果我们查看网站发回的标题

Set-Cookie: ASP.NET_SessionId=4o0bpi45evee0d45qos1uy55; path=/; HttpOnly
Set-Cookie: ChefsSite=CartID=00000000-0000-0000-0000-000000000000&cst=f4t8YpBpAAkNiRUd9BEf2luKAA%3d%3d&act=c0f2VBCSbv30F4kasnvWS5OfJQ%3d%3d&CookiesEnabled=False; expires=Wed, 14-Apr-2010 20:54:22 GMT; path=/

我注意到该站点在 Set-Cookie 的末尾缺少域，这很奇怪，但我认为这不是 RFC 的必要条件。如果我们查看 idCookieManager 的 AddCookie/2 方法，它希望在该参数上有一个主机，所以它可能不适用于任何不提供域的 Set-Cookie。

如果 Set-Cookie 包含 domain=.google.com; 我已经在另外几个网站上对此进行了测试，并且一切正常。

如果你看一下 idHttp.OnRedirect 也很有趣

idHttp.Response.RawHeaders.Text

对于不工作的网站，您看不到 Set-Cookies，但在工作正常的网站上，您会看到 Set-Cookies...

但是，如果我将 idhttp useragent 设置为

    Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.1) Gecko/20100122 firefox/3.6.1

（来自另一个答案）

那么它似乎可以很好地提取饼干

    New cookie: ASP.NET_SessionId
    New cookie: ChefsSite
    Redirecting (1) to: http://www.chefscatalog.com/international/home.aspx
    New cookie: ChefsSite

很奇怪。

Answer 2

检查 OnRedirect 事件。由于某种原因，您被重定向到错误页面。

http://www.chefscatalog.com/error.aspx?impsid=0

这反过来又会将您重定向回同一错误页面，直到您用尽 RedirectMaximum (15)。

更新：

一旦您被重定向到错误页面，Wizzard 会在下面解释为什么它会一遍又一遍地重定向回同一个错误页面。饼干。

首先您被重定向的原因可能是该站点无法识别（或喜欢）您的user agent string（在请求属性中）。默认情况下，它是“Mozilla/3.0（兼容；Indy 库）”。将其更改为FireFox、IE 或其他可识别浏览器使用的当前字符串。

我尝试使用“Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.1) Gecko/20100122 firefox/3.6.1”，它似乎工作得很好。

您可以在Indy KB PDF找到更多详细信息。