检查网址可用性答案

【问题标题】：Checking url availability检查网址可用性
【发布时间】：2015-04-18 04:01:21
【问题描述】：

在我的程序中，我检查网站是否可用，我使用此代码

 HttpWebRequest request;
 HttpWebResponse response;
 Message = string.Empty;
 string result="";

 request = (HttpWebRequest)WebRequest.Create(url);
 request.Timeout = 300000;
 request.AllowAutoRedirect = true;
 try
 {

      response = (HttpWebResponse)request.GetResponse();
      result = response.StatusCode.ToString();
      response.Close();

 }
catch (Exception ex)
 {

         result = ex.Message;
 }

我将超时设置为 5 分钟。当程序运行时，对于某些站点（Urls），结果是“无法连接到远程服务器”但站点可用。我怎么解决这个问题？

【问题讨论】：

您能给我们举一个这样的网站的例子吗？

标签： c#

【解决方案1】：

某些网站有限制以限制来自机器人或客户端的 Web 请求，其中包含无效的 user agent 或无法识别的字符串。

因此我建议你将用户代理调整为已知的浏览器。

例如：

WebClient client = new WebClient();
// Mozilla 2.2
client.Headers.Add("user-agent", "Mozilla/5.0 (Windows; U; Windows NT 6.1; rv:2.2) Gecko/20110201");

// Safari 7.0.3
client.Headers.Add("user-agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/7046A194A");

有关用户代理字符串的完整列表，请查看：http://www.useragentstring.com/pages/useragentstring.php

【讨论】：