在c#中获取网站的所有页面，包括HTML、ASPX等

Question

我正在申请 这将返回给定网站 URl 的所有页面（带有 HTMl）。使用此代码可以正常工作。

  foreach (string links in Find(htmlCode))
    {
        Debug.WriteLine(links);
        string chk = "";
        if (link != null)
        {
            chk = client.DownloadString(link);
        }}

但到目前为止，我只能访问那些以 HTML 格式提供 href 或链接的网站页面。 我无法访问网站中未提及 href 的其他网页 如何访问这些页面？

Facebook 页面示例 我可以访问所有的 Facebook 页面吗？

Answer 1

没有。如果该页面未链接到，您将无法找到它。如果你在爬，你也应该尊重robots.txt文件。