【问题标题】:crawl link from site从网站抓取链接
【发布时间】:2015-05-19 07:34:32
【问题描述】:

我有一个问题。我想从一个站点抓取链接(示例:www.x.com/date/counter of news)。 现在,我的解决方案是:

1- 我的数据库中有最新链接,如下所示:
www.x.com/2015/01/13/99901

2- 我从网站获得最新链接,如下所示:
www.x.com/2015/01/12/99905

3- 我想在 99901 ~ 99905 之间循环 以在以上两个链接之间生成链接,如下所示:

www.x.com/2015/01/12/99901
www.x.com/2015/01/_( I don't know this day is /12 or /13 )_/99902
www.x.com/2015/01/_( I don't know this day is /12 or /13 )_/99903
www.x.com/2015/01/_( I don't know this day is /12 or /13 )_/99904
www.x.com/2015/01/13/99905

现在,我知道日期什么时候改变了?!!

【问题讨论】:

  • 你能把你项目的基本代码放上来,这样我们就不会免费给你答案了。

标签: c# web-crawler


【解决方案1】:

您应该首先检查不存在页面的响应(例如 01/12/99999)。然后你应该循环“第一天”,检查响应,如果你得到相同的响应,将 1 添加到 day 并重复,直到你收到预期的响应。

【讨论】:

    猜你喜欢
    • 2020-06-30
    • 1970-01-01
    • 2018-09-13
    • 2020-01-30
    • 2012-02-18
    • 2021-03-31
    • 2019-06-06
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多