【问题标题】:Best technology(s) for web crawling [closed]网络爬行的最佳技术[关闭]
【发布时间】:2017-09-15 08:43:21
【问题描述】:

第二次编辑:我想建议的图书馆一定是世界上最有效和最好的图书馆,没有改进的余地,因为甚至没有人试图回答有关该技术的问题,只是投了反对票,就好像我还没有图书馆一样为此。

SO 在他们的投票规则中非常明确:

而不是投反对票: 如果帖子是垃圾邮件或冒犯性的,请将其标记。 如果问题重复或偏离主题,请将其标记以引起版主注意。 如果有问题,请发表评论或编辑帖子以更正它。

编辑:不知道为什么投了反对票,但是我得到了我想要的答案之一。

创建网络爬虫的最佳技术、语言等是什么(就在 HTML 中查找实际 URI/URL 而言)?

我考虑过并尝试过的事情: - C# 子字符串方法(字符串操作) - 正则表达式 - Xslt 转换/XPath

这有什么标准吗? 是否已有用于此的库?

还希望能够包含 IP 地址

【问题讨论】:

    标签: c# xslt xpath


    【解决方案1】:

    谷歌 c# 网络爬虫。找到一个这样做的项目:https://github.com/sjdirect/abot

    查找描述设计问题并提供实现的文章:https://www.codeproject.com/Articles/1087859/Web-crawling-with-Csharp-part-one

    从那里去应该很好

    【讨论】:

      猜你喜欢
      • 2015-10-13
      • 1970-01-01
      • 2012-01-05
      • 2012-08-27
      • 2023-04-04
      • 1970-01-01
      • 1970-01-01
      • 2013-04-14
      • 2017-08-20
      相关资源
      最近更新 更多