废话不多说, 直接说需求。

公司的网站需要抓取其他网站的文章,但任务没到我这,同事搞了一下午没搞出来。由于刚刚到公司, 想证明下自己,就把活揽过来了。因为以前做过,觉得应该很简单,但当我开始做的时候,我崩溃了,http请求后,得到的是字符串竟然是乱码,然后就各种百度(谷歌一直崩溃中),最后找到了原因。由于我要抓取的网页做了压缩,所以当我抓的时候,抓过来的是压缩后的,所以必须解压一下,如果不解压,不管用什么编码方式,结果还是乱码。直接上代码:

1 public Encoding GetEncoding(string CharacterSet)
2         {
3             switch (CharacterSet)
4             {
5                 case "gb2312": return Encoding.GetEncoding("gb2312");
6                 case "utf-8": return Encoding.UTF8;
7                 default: return Encoding.Default;
8             }
9         }
View Code

相关文章: