C# 中的简单网络爬虫答案

【问题标题】：Simple web crawler in C#C# 中的简单网络爬虫
【发布时间】：2012-05-04 16:32:08
【问题描述】：

我创建了一个简单的网络爬虫，但我想添加递归功能，以便打开的每个页面我都可以获取此页面中的 URL，但我不知道如何做到这一点，我还想包括线程以使其更快。这是我的代码

namespace Crawler
{
    public partial class Form1 : Form
    {
        String Rstring;

        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            
            WebRequest myWebRequest;
            WebResponse myWebResponse;
            String URL = textBox1.Text;

            myWebRequest =  WebRequest.Create(URL);
            myWebResponse = myWebRequest.GetResponse();//Returns a response from an Internet resource

            Stream streamResponse = myWebResponse.GetResponseStream();//return the data stream from the internet
                                                                       //and save it in the stream

            StreamReader sreader = new StreamReader(streamResponse);//reads the data stream
            Rstring = sreader.ReadToEnd();//reads it to the end
            String Links = GetContent(Rstring);//gets the links only
            
            textBox2.Text = Rstring;
            textBox3.Text = Links;
            streamResponse.Close();
            sreader.Close();
            myWebResponse.Close();




        }

        private String GetContent(String Rstring)
        {
            String sString="";
            HTMLDocument d = new HTMLDocument();
            IHTMLDocument2 doc = (IHTMLDocument2)d;
            doc.write(Rstring);
            
            IHTMLElementCollection L = doc.links;
           
            foreach (IHTMLElement links in  L)
            {
                sString += links.getAttribute("href", 0);
                sString += "/n";
            }
            return sString;
        }

【问题讨论】：

投票结束，因为问题范围不大。请考虑搜索“C# 中的网络爬虫”并将您的问题提炼为更有针对性。
您绝对不想使用递归，因为您将无法在本地堆栈上保存互联网的状态。您可以按照 Tom 的建议使用 Stack，但您应该反转添加 AbsoluteUris 进行爬取的顺序，否则堆栈的性质将使您从页面底部爬取，如果您要编写爬虫程序，则需要使检索行为尽可能与浏览器匹配.队列是更好的选择。 PriorityQueue 是一个更好的队列。
PriorityQueue svn.arachnode.net/svn/arachnodenet/trunk/Structures/… 用户名/密码：公开/公开

标签： c# web-crawler

【解决方案1】：

我将您的 GetContent 方法修复如下，以从抓取的页面获取新链接：

public ISet<string> GetNewLinks(string content)
{
    Regex regexLink = new Regex("(?<=<a\\s*?href=(?:'|\"))[^'\"]*?(?=(?:'|\"))");

    ISet<string> newLinks = new HashSet<string>();    
    foreach (var match in regexLink.Matches(content))
    {
        if (!newLinks.Contains(match.ToString()))
            newLinks.Add(match.ToString());
    }

    return newLinks;
}

更新

修正：正则表达式应该是 regexLink。感谢@shashlearner 指出这一点（我打错了）。

【讨论】：

避免了使用正则表达式进行 HTML 解析但匹配失败的问题。
这里的 regexLink 是什么？
regex 应该是 regexLink，感谢@shashlearner 指出这一点
如果我想编写一个爬虫来检索作为搜索结果的动态页面怎么办？

【解决方案2】：

我使用Reactive Extension 创建了类似的东西。

https://github.com/Misterhex/WebCrawler

希望对你有帮助。

Crawler crawler = new Crawler();

IObservable observable = crawler.Crawl(new Uri("http://www.codinghorror.com/"));

observable.Subscribe(onNext: Console.WriteLine, 
onCompleted: () => Console.WriteLine("Crawling completed"));

【讨论】：

哇！这是一些非常简单的语法。这是多线程吗？不管怎样，很容易理解——看起来很像 javascript。

【解决方案3】：

以下内容包括答案/建议。

我认为您应该使用 dataGridView 而不是 textBox，因为当您在 GUI 中查看它时，更容易看到找到的链接 (URL)。

你可以改变：

textBox3.Text = Links;

到

 dataGridView.DataSource = Links;

现在的问题，你还没有包括：

using System.  "'s"

使用了哪些，如果我能弄明白它们，将不胜感激。

【讨论】：

【解决方案4】：

从设计的角度来看，我编写了一些网络爬虫。基本上，您想使用 Stack 数据结构实现深度优先搜索。您也可以使用广度优先搜索，但您可能会遇到堆栈内存问题。祝你好运。

【讨论】：

我认为 OP 要求提供更多细节。