导言

网页抓取是一个比较简单的工作,主要分为以下三步:一:分析要抓取的网页,获取待抓取的页面地址;二、用下载方式缓存网页,如果网站设置有访问时间限制,就要用这步来缓存;三、分析缓存中的网页,整理数据

在所有步骤中,对于所有的网站,只有获取换取地址、缓存网页、处理网页这几个方式不一定一样,其它的处理方式,都可以认为是一样的

总体接口设计

通用网页抓取设计
接口设计

包括地址抓取、处理、文件缓存、消息传递委托类型,消息类型;

通用网页抓取设计
ICatch(抓取接口)

接口说明:

    }

 

通用网页抓取设计
ICatchData(缓存网页接口)

接口:

    }

 

 

小结

只要根据不同的网站实现上面的两个接口,就可以实现网页的抓取,处理,再也不用管理浏览器的怎样加载文件

 

相关文章:

  • 2021-12-26
  • 2021-12-15
  • 2022-12-23
  • 2022-02-11
  • 2022-12-23
  • 2021-11-20
  • 2021-07-17
  • 2021-12-13
猜你喜欢
  • 2021-12-19
  • 2022-01-08
  • 2022-12-23
  • 2021-08-16
相关资源
相似解决方案