使用 ASP.net 自动下载网站内容

Question

使用 ASP.net，我可以使用哪些方法来执行以下操作：

1. 打开与给定 URL 的连接以读取 HTML 内容
2. 为超链接解析给定的 URL，并将它们放在一个数组中
3. 遍历每个超链接（仅向下一级），打开每个超链接，将 HTML 内容保存在表格中，然后移动到下一个超链接直到完成。

如果 ASP.net 不能胜任这项任务，其他语言或免费脚本/工具包也是可以接受的。

谢谢。

Answer 1

• 在步骤 1 中使用 System.Net.WebClient。
• 使用 System.Text.RegularExpressions，如here 所示，用于第 2 步。
• 为第 2 步创建并使用 System.Data.DataTable。
• 请参阅here 了解第 3 步

我省略了明显的内容，例如“循环遍历 DataTable”等。更深入的答案可能不会来自该站点。这个问题有点太大了，在这里无法完整回答。